Datasecurity, RAID & user errors

[wasco]

Hellow allemaal, dit is men eerste post btw... ik hoor jullie al zegge, "eigenlijk kan je beter eerst wat replyen voor je zelf een post maakt".. wel ja, groot gelijk zou ik eigenlijk zegge. sorry

Ik lees dit forum al geruime tijd en heb mezelf al ettelijke keren wille registeren maar steeds werd ik maar meer gedemotiveerd omdat men favorieten nickname "wasco" al geregistreerd is blijkbaar (lijkt dan ook nog een 0-poster te zijn )

EDIT:: Woehoeew , nu ben ik wél wasco, thx mods ::
anyway, vind dit een erg leuk forum waar tussen een hoop geinig gezever en onkundig geblaat steeds nuttige informatie en handige tips te rapen zijn voor zij die zoeken.

dit allemaal gezegd zijnde, hier komt mijn vraag slash onderwerp waar ik over wil praten!

--------------------------------

Ik ben de laatste maanden druk bezig in men hoofd om alles op een rijtje te zetten over RAID-technologie, controllers, harddisks, encryptie, etc..

wat ik uiteindelijk wil bekomen is een vlot werkende fileserver (encrypted omdat ik een geek ben) die mijn data tegelijk ook nog eens kan beschermen tegen crashes van hard en software en ook tegen mijn eigen domme vergissingen. Ik begrijp dat een fileserver nooit 100% veilig kan zijn want een kwaadwillend persoon kan steeds data kapotkrijgen, zoveel is zeker. Echter ik voel er niets voor om alles steeds te backuppen op cd-r omdat ik aan de lijve ondervind dat cd-r een 'vluchtig' medium is, langer dan 5 tot 10 jaar maximum zingt zo'n blinkend schijfje het heus niet uit. Je mag soms al blij zijn dat de hele cd een volledig jaar foutvrij blijft.

Harddisks gaan gemiddeld toch ietsje langer mee, zijn direct benaderbaar en werken veel transparanter. IDE is pakken goedkoper dan SCSI en zelfs al gaat een IDE veel sneller stuk, dan nog is het volgens mij toch meer aangewezen om IDE te kope, voor de prijs van één IDE + vervanging nadat hij stuk ging koop je nog altijd geen één equivalente SCSI schijf!

verder wil ik zo 'goedkoop' mogelijk werken, het budget is nu eenmaal slechts wat het is. Toch moet er dynamische uitbreiding beschikbaar blijven, zodat wanneer er budget bij komt het hele systeem niet vervangen hoeft te worden.
Snelheid is niet echt een issue, omdat het aantal gebruikers van de fileserver relatief beperkt zal zijn.

Al dit bovenste samengevat levert mij momenteel hetvolgende plaatje:

1 Highpoint RocketRaid 404 PCI kaart --> 8 harddisks aanstuurbaar
een aantal hardeschijven (ik start met 2 200GB disks)
deze schijven laat ik dan lekker in een RAID 1 opstelling draaien, zodat schijf 2 een perfecte kopie van schijf 1 is...

later kan ik dan altijd schijven toevoegen als een nieuwe RAID 1 array, dat er dan een driveletter bijkomt daar verzin ik wel iets voor...

Echter schoot mij hetvolgende te binnen: wat als ik perongeluk alles van schijf 1 verwijder... dan is schijf 2 natuurlijk ook lekker leeg... User error heet zoiets, en het is nog altijd zowat de hoogste bron van dataverlies ter wereld. Misschien hoef ik dus helemaal geen RAID1 te draaien?? de data die op de disks gaat staan is redelijk statisch, het is te zeggen, hoogstens 1 update ofzo per dag, soms wekenlang geen updates. misschien kan ik beter zelf RAID-controller spelen en de content van disk2 gelijkhouden met die van disk1, wat me direct een enorme reductie op het aantal user-errors oplevert.

Of bestaan er andere andere systemen om de kans op usererrors te reduceren??
Ik kan niet echt een vriend vinden aan google over deze kwestie en GOT-search leverde ook weinig op.

Heeft er iemand een lumineus idee? Weet er iemand een betere oplossing? Heeft er echt iemand deze lange topic gelezen?

oh, btw, was ik nog vergeten te vragen:: werkt encryptie (drivecrypt - partitie-encryptie) transparant door als je een RAID1 configuratie hebt?

Wow dat was een lange tiepsessie, heb dringend nood aan slaap nu

[Femme]

RAID is geen backupoplossing. RAID gebruik je voor betere prestaties of ter beveiliging tegen fysieke defecten. Backups zijn er om de gevolgen van software, hardware en userfouten terug te draaien. Je bent zelf al tot de conclusie komen dat je data alleen op een RAID 1 mirror niet veilig is. Je zult backups moeten maken, wat in principe op dezelfde mirror kan (die is immers failsafe). Om te voorkomen dat je je data én backups alsnog kwijtraak omdat de RAID array om een of andere reden stuk gaat, is het verstandiger om de data en backups op gescheiden harde schijven of RAID arrays te plaatsen.

[wasco]

Femme schreef op 31 juli 2003 @ 01:56:
RAID is geen backupoplossing. RAID gebruik je voor betere prestaties of ter beveiliging tegen fysieke defecten.

yep zover was ik dus zelf ook gekomen Betere prestaties is niet echt nodig in mijn geval, maar fysieke defecten kan ik echt niet hebben.

Backups zijn er om de gevolgen van software, hardware en userfouten terug te draaien. Je bent zelf al tot de conclusie komen dat je data alleen op een RAID 1 mirror niet veilig is. Je zult backups moeten maken, wat in principe op dezelfde mirror kan (die is immers failsafe). Om te voorkomen dat je je data én backups alsnog kwijtraak omdat de RAID array om een of andere reden stuk gaat, is het verstandiger om de data en backups op gescheiden harde schijven of RAID arrays te plaatsen.

Ja dat had ik ook al vooropgesteld ondertussen, maar wat ik dus wou weten was of er nog een andere optie is die ik niet kende of ff niet aan dacht.
Momenteel zou ik geen RAID-array aanmaken maar gewoon harddisk2 steeds syncroon vullen tesamen met de main harddisk1, zijn 'master' als het ware.

Dat lijkt me vrij veilig als backupmedium dan.
Wat ik bijvoorbeeld kan doen is beide schijven encryptere en schijf 2 alleen 'mounten' wanneer ik ze nodig heb om te syncroniseren. zo kan ik ze alleen nog kapot krijgen als ik de partitie verwijder.

Trouwens nog een extra vraagje, als ik bv harddisk 2 na 5 minuten ongebruikt laat stoppen met spinnen, verhoogt dit dan bv. de levensduur gevoelig?

[BalusC]

offtopic:

---

wasco.be schreef op 31 July 2003 @ 01:27:
Ik lees dit forum al geruime tijd en heb mezelf al ettelijke keren wille registeren maar steeds werd ik maar meer gedemotiveerd omdat men favorieten nickname "wasco" al geregistreerd is blijkbaar (lijkt dan ook nog een 0-poster te zijn)

---

Zie Schop een Modje >> Schop een Modje richtlijnen. *updated 02-08-2002* >> Nickchange : eenmalig wordt toegestaan.

Je kunt deze nickname dus alsnog innen

[ Voor 5% gewijzigd door BalusC op 31-07-2003 09:01 ]

[TD-er]

Mijn ervaring/gevoel is dat het telkens stilzetten van de schijf en weer op laten spinnen de levensduur verkort.

Het zelf voor Raid-controllertje spelen, door de data steeds te verplaatsen van schijf 1 naar 2 te kopieren is natuurlijk ook foutgevoelig, tenzij je er een taak voor windows (of een cronjob voor linux) van maakt die periodiek uitgevoerd wordt.
Persoonlijk denk ik dat je beter niet de boel kunt encrypten, wanneer je data zo belangrijk voor je is. Je zal maar net een keer een overhoop gehaald filesystem hebben en de boel willen rescue-en, dan kan die encryptie je behoorlijk nekken.

[wasco]

Mijn ervaring/gevoel is dat het telkens stilzetten van de schijf en weer op laten spinnen de levensduur verkort.

is er nog iemand die dit kan tegenspreken/bevestigen?
lijkt me wel een interessante theorie...

Persoonlijk denk ik dat je beter niet de boel kunt encrypten, wanneer je data zo belangrijk voor je is. Je zal maar net een keer een overhoop gehaald filesystem hebben en de boel willen rescue-en, dan kan die encryptie je behoorlijk nekken.

Windows zou ik niet encrypte bijvoorbeeld, maar wel de aparte dataschijven. Dit zou gebeuren met DriveCrypt 3.03c, wat vrij standaard is en als je de harddisk aansluit op een ander systeem waarop ook DriveCrypt staat dan kan je er gewoon weer aan, het is dus niet die brakke win2k3-encryptie waar je een restore van kan vergeten als je de sleutelfiles niet meer hebt...

[TD-er]

Kan best zijn dat het een min of meer standaard te lezen encryptie is, maar dat wil nog niet zeggen dat je in geval van data-verminking met de rescue-tooltjes er bij kunt. Dergelijke tooltjes werken namelijk vaak op een ander niveau en dan wil je niet dat er nog bepaalde conversies met je data gedaan worden.

[wasco]

"data-verminking" zijnde bv...

[TD-er]

offtopic:
He je hebt de naam Wasco gekregen zie ik

wasco schreef op 31 juli 2003 @ 09:26:
"data-verminking" zijnde bv...

Een corrupte FAT bijvoorbeeld. Nu zul je voor een 200 GB schijf waarschijnlijk geen FAT32 gebruiken, maar bijv NTFS. Daarvan is het al iets onwaarschijnlijker dat de file-tabel corrupt raakt, maar toch.

[ Voor 5% gewijzigd door TD-er op 31-07-2003 10:06 ]

[wasco]

offtopic:
Yeeh, inderdaad, ik ben wasco geworden, ultrasnelle mods hebbe ze hier :^)
thx guys!!

nja, idd als die 200gb corrupt is kan ik het wel schudden.... ware het niet dat ik eigenlijk al mijn data 2 keer heb hé, vergeet dat niet... dus als een van die 200GB totaal corrupt is heb ik altijd nog een tweede schijf met klak dezelfde data erop.

[TD-er]

Het ging ook meer om wat er fout zou kunnen gaan en ontwerpbeslissingen toch?
Dat moet je IMHO dat soort dingen ook wel ff over nagedacht hebben.

[wasco]

das waar TD-er, maar encryptie moet er toch zijn, er staan namelijk gevoelige data op én iets minder legale data , zou niet graag hebben dat vadertje staat men pc meeneemt en men loon afneemt tot men pensioen

[Shockyboy]

Ik heb voor mezelf eens een keer een vel papier gepakt, en een analyse gemaakt van de verschillende files die ik op de fileserver wilde opslaan. Daarbij een onderverdeling gemaakt naar 3 niveau's van belangrijkheid:
- 'cruciaal' (databestanden, mail, foto's, etc.),
- 'normaal' (mp3's, downloads, etc) en
- 'laag' (iso-images van cd's die ik heb, backups van andere pc's en laptop)

Ik heb ervoor gekozen om de 'cruciale' en 'normale' files op te slaan op een RAID-5 array (softwarematig onder Windows 2000 Server) die bestaat uit 3 x 120Gb disk (=240 bruikbaar).
De 'laag' - prioriteit files heb ik op een vierde disk staan (80Gb).
Op die manier heb ik (hoop ik) voldoende bescherming voor alle files. De 'lage'-prioriteit files kunnen verdwijnen met een simpele disk-crash, maar die heb ik dan altijd nog in CD-versie, en zijn terug te zetten. Voor de andere 2 categorieen kan een disk-crash geen kwaad: omdat ik RAID-5 gebruik mag er één disk uitvallen: de data blijft behouden.
Voor de cruciale files (iets van 40Gb op het moment) maak ik maandelijks een backup op een externe harde schijf, die ik vervolgens op mijn werk neerleg. Brand mijn huis af, dan heb ik die files tenminste nog (als het tenminste niet precies in het backupweekend gebeurt ). Verder maak ik (automatisch) dagelijks een incremental backup van de cruciale files naar de harddisk in mijn gewone PC. Dat zorgt ervoor dat de 'user errors' zoals je die noemt bij die categorie ook afgedekt zijn.

Naast de driedeling in veiligheid heb ik ook een inschatting gemaakt van de hoeveelheid gegevens die er nu waren, en die er naar schatting maandelijks bijkomen. In mijn geval was dat bijvoorbeeld: Cruciaal: 40Gb + 2 per maand; Normaal: 80Gb + 3 per maand; Laag: 50 + 2. Ik wilde de RAID - array opzetten voor minstens 2 jaar. Opslag zou dus goed moeten zijn voor 120 + 5/maand voor 24 maanden. Dat was samen 240: een RAID-5 array van 3 x 120. De laag-categorie haalt het niet, maar da's niet zo erg. Ik had die disk al, en die is gemakkelijk nog te vervangen door een grotere als het nodig is. (Maar misschien moet ik dan dat Windows98SE image eerst weggooien...)

Ik hoop dat je iets aan mijn uitleg hebt. Bottom-line: ga eerst uit van wat je nu nodig hebt aan capaciteit en veiligheid, en wat je er in de toekomst bij denkt te krijgen. Neem dan je beslissing om disks te kopen (en controllers). Redeneer niet andersom!

[BalusC]

offtopic:

---

wasco schreef op 31 July 2003 @ 10:02:

offtopic:
Yeeh, inderdaad, ik ben wasco geworden, ultrasnelle mods hebbe ze hier :^)
thx guys!!

---

Als je nu eens antwoord geeft op XceeD, dan zijn we echt klaar
[rml][ nickchange] wasco.be[/rml]

[wasco]

Shockyboy schreef op 31 July 2003 @ 10:46:
Ik heb voor mezelf eens een keer een vel papier gepakt, en een analyse gemaakt van de verschillende files die ik op de fileserver wilde opslaan...etc...

Bottom-line: ga eerst uit van wat je nu nodig hebt aan capaciteit en veiligheid, en wat je er in de toekomst bij denkt te krijgen. Neem dan je beslissing om disks te kopen (en controllers). Redeneer niet andersom!

yep dat doe ik ook,
maar al mijn data is eigenlijk kritiek, de reden van het hele systeem is drieledig:
- makkelijke bereikbaarheid van de data in enkele seconden
- bescherming tegen fysieke problemen
- bescherming tegen user-errors

de hoeveelheid data die ik momenteel heb is een 480GB, waarvan ik binnen enkele weken een 200-tal GB beschermt wil zien in eerste instantie.
Aan capaciteit heb ik op termijn een TB nodig ofzo, en met 4*2 drives (de HP RR 404 heeft support voor 8 drives) kan dit lukken, nl 200GB+250GB+250GB+300GB = 1TB op termijn.

[TD-er]

Vergeet niet dat je absoluut niet 2 schijven op een kabel moet zetten, en volgens mij heeft die Highpoint controller maar 4 IDE-aansluitingen.
edit:
plaatje:

[ Voor 21% gewijzigd door TD-er op 31-07-2003 22:53 ]

[wasco]

Vergeet niet dat je absoluut niet 2 schijven op een kabel moet zetten, en volgens mij heeft die Highpoint controller maar 4 IDE-aansluitingen.

waarom mag ik dat niet doen? wegens performatieverlies? das niet zo'n probleem, ik heb heus geen ideale doorvoersnelheid nodig, dus das best allright.

En inderdaad, de HP RR 404 heeft 'maar' 4 aansluitingen, maar tegenover zijn prijsgenoten kan je wél 2 drives per aansluiting aansturen. Bij andere merken heb je daar een veeel duurdere controller (eigen processor onboard en ram) voor nodig, een beetje overkill lijkt me in mijn geval..

thx voor alle vragen die jullie op me afvuren, das de enige manier waarop ik te weten kom of ik niks vergeet en geen mogelijkheden uitsluit.

[tweakerbee]

Het zal een ENORM prestatieverlies met zich meebrengen als je een RAID1 array (of RAID5) van disks op dezelfde poort aansluit.
Wat je wel kunt doen is dit:
- Primary Master: Schijf 1 van RAID array 1
- Secondary Master: Schijf 2 van RAID array 1
- Primary Slave: User backup schijf van RAID array 2
- Tertiary Master: Schijf 1 van RAID array 2
- Quaternary Master: Schijf 2 van RAID array 2
- Tertiary Slave: User backup schijf van RAID array 1

En dan vervolgens zelf backuppen naar schijven PS en TS, van resp. RAID array 1 en RAID array 2. Dan zit je redelijk safe, hoewel het doorbranden van een voeding genoeg is. Bij voorkeur dus RAID array 1 en RAID array 2 over twee servers verdelen. De backup van array 1 moet dan bij de server voor array 2 en vice versa.

En natuurlijk een DVD+RW brander met backups, of een tape recorder voor de offsite of brandveilige backups.

Totale kosten:
minimaal 6 schijven, 1 RAID controller + PC om alles te laten werken
maximaal 6 schijven, 2 RAID controllers (of onboard gebruiken) + 2 PC's om alles te laten werken en een DVD+RW/Tape-recorder.

edit:

Theoretische praktische ruimte is helaas maar 0,5TB op deze manier.

[ Voor 7% gewijzigd door tweakerbee op 01-08-2003 05:12 ]

[TD-er]

Niet alleen de performance gaat er flink op achteruit, maar ook de veiligheid.
Als een schijf kapot gaat, kan 'ie de IDE-bus bezet houden, waardoor je dus 2 schijven niet kunt benaderen. het probleem mag dan duidelijk zijn lijkt me

[Olaf van der Spek]

TD-er schreef op 01 August 2003 @ 19:02:
Niet alleen de performance gaat er flink op achteruit, maar ook de veiligheid.
Als een schijf kapot gaat, kan 'ie de IDE-bus bezet houden, waardoor je dus 2 schijven niet kunt benaderen. het probleem mag dan duidelijk zijn lijkt me

Ik denk niet dat de files continue beschikbaar moeten zijn. Het systeem afsluiten en de kaptte schijf eruit halen lost het probleem op.

[TD-er]

OlafvdSpek schreef op 02 August 2003 @ 01:09:
[...]

Ik denk niet dat de files continue beschikbaar moeten zijn. Het systeem afsluiten en de kaptte schijf eruit halen lost het probleem op.

Ja, maar dan heb je nog steeds dan tot het afsluiten er geen files weggeschreven kunnen worden.
Je moet dan heet erg uit gaan kijken hoe je de RAID-sets gaat verdelen over de kabels.
Stel dat je bijvoorbeeld een RAID-5 hebt van 4 schijven, op 2 kabels en 1 schijf gaat stuk, dan kan de boel dus mogelijk niet op die 3 andere schijven weggeschreven worden, waardoor je dus dataloss krijgt.
Als het vrij statische files zijn, zal het niet zo snel fout gaan nee, maar het is wel degelijk iets waar je rekening mee moet houden.

[Olaf van der Spek]

Dat is waar. Maar als je controller stuk gaat zit je met hetzelfde probleem.
Ik weet niet hoe groot de kans is dat een schijf dit probleem veroorzaakt.

[TD-er]

OlafvdSpek schreef op 02 augustus 2003 @ 15:09:
Dat is waar. Maar als je controller stuk gaat zit je met hetzelfde probleem.
Ik weet niet hoe groot de kans is dat een schijf dit probleem veroorzaakt.

Als ik kijk naar mijn eigen schijven die ik kapot heb zien gaan, zou ik bijna zeggen 100% (nog nooit een hardware-matig defect, zoals niet opspinnen, maar altijd kapotte electronica terwijl de computer gewoon bezig was). Op de TD heb ik natuurlijk ook genoeg schijven ineens niet meer zien opstarten, dus dat percentage zal een heel stuk lager zijn. 10 - 30% schat ik, dat de schijf er tijdens bedrijf mee stopt, al ligt dat wel hoger bij een server, daar die nauwlijks rebooten.

[Olaf van der Spek]

TD-er schreef op 02 augustus 2003 @ 17:05:
[...]

Als ik kijk naar mijn eigen schijven die ik kapot heb zien gaan, zou ik bijna zeggen 100% (nog nooit een hardware-matig defect, zoals niet opspinnen, maar altijd kapotte electronica terwijl de computer gewoon bezig was). Op de TD heb ik natuurlijk ook genoeg schijven ineens niet meer zien opstarten, dus dat percentage zal een heel stuk lager zijn. 10 - 30% schat ik, dat de schijf er tijdens bedrijf mee stopt, al ligt dat wel hoger bij een server, daar die nauwlijks rebooten.

Maar ging in al die gevallen ook het channel down?

[TD-er]

OlafvdSpek schreef op 02 August 2003 @ 17:37:
[...]

Maar ging in al die gevallen ook het channel down?

Yep, bij mijn eigen defecte schijven wel, bij de schijven die ik op de TD heb zien overlijden, hing 'ie vaak alleen aan een kabeltje.
* TD-er heeft altijd IDE-aansluitingen te kort.