NAS+tape of NAS+swappable drive?

[Deegroller]

Ons bedrijf heeft behoefte aan een grotere netwerk-opslagcapaciteit (250 GB)
Deze files moeten echter ook gebackuped worden.

Ik heb als leek hierin dit probleem opgepakt en ben inmiddels er achter dat een NAS-systeem, met 2 schijven in RAID 1-opstelling, de oplossing is. Linux-based heeft hierbij duidelijk de voorkeur, ivm de licentiekosten. Echter, er moet wel een mogelijkheid bestaan tot user management. Niet iedere gebruiker op het netwerk heeft dezelfde rechten. Delen van de schijf zijn bijvoorbeeld enkel voor het management toegankelijk, een ander deel mag door iedereen gezien worden, maar door één persoon beschreven/gewijzigd worden.

Ik heb al tientallen topics gelezen en mogelijkheden bestudeerd. Een DIY-oplossing is een optie, alhoewel onderstaande apparaten ook interessant lijken:
Linksys: EtherFast Network Attached Storage
Netgear: SC101 Storage Central
Level: FNS-7000B
Tekram-combo-805

Een vraag is tot nu toe onbeantwoord gebleven: Het is noodzakelijk ook de files dagelijks te backuppen. Wat is hierin het handigst?
- Backuppen met een tape? Hang ik deze taperecorder via USB aan het NAS-oplossing? Kun je deze backup-activiteiten schedulen in zo'n apparaat? (ik lees wel een geschedulede backup van een PC naar de NAS, maar niet van NAS naar tape)

- Backuppen naar 3e drive? Is het ook mogelijk om bij een NAS-oplossing met 4 drives de eerste twee drives te gebuiken als opslag (RAID1), en de 3e en 4e drive te gebruiken als backup medium? 's Ochtends haal je drive 3 uit zijn bay, en vervangt 'm door dive 4. 's Nachts wordt er een backup gemaakt van drives 1&2 op drive 4. 's Ochtends vervang je drive 4 weer door drive 3...etc. De drives 3 en 4 worden hierbij gebruikt als vervangers van de tape bij de tape-oplossing.

Ik hoor graag jullie mening.

[Mishmash]

Je moet eens gaan kijken naar Freenas. Dat is een opensource pakket die volgens mij alles kan wat jij wilt.

[Deegroller]

Mishmash schreef op vrijdag 23 maart 2007 @ 12:05:
Je moet eens gaan kijken naar Freenas.

Dank je. Dit pakket had ik al een aantal keren voorbij zien komen in het topic over "DIY RAID NAS bouwen". Als we kiezen voor DIY, dan is deze software zeker het bestuderen waard!

Maar dan blijft nog altijd de vraag: Drive of Tape gebruiken om ('s nachts) te backuppen en de backup mee naar huis te nemen?

[ Voor 8% gewijzigd door Deegroller op 23-03-2007 12:36 ]

[Mishmash]

Deegroller schreef op vrijdag 23 maart 2007 @ 12:35:
[...]

Dank je. Dit pakket had ik al een aantal keren voorbij zien komen in het topic over "DIY RAID NAS bouwen".

Maar dan blijft nog altijd de vraag: Drive of Tape gebruiken om ('s nachts) te backuppen en de backup mee naar huis te nemen?

Mijn keus zou tape zijn... Wel duurder maar imho veel betrouwbaarder.

[Deegroller]

Mishmash schreef op vrijdag 23 maart 2007 @ 12:37:
[...]Mijn keus zou tape zijn... Wel duurder maar imho veel betrouwbaarder.

Dat zou dus automatisch een DIY-systeem betekenen?

Tenminste, hier ga ik dan van uit, aangezien de genoemde apparaten in de OP geen taperecorder bevatten. Of is dit middels USB op te lossen? M.a.w. is een taperecorder aangesloten op een van de NAS-links uit de OP een oplossing?

[vandijk]

Tape is een mooie oplossing. Maar de kosten kunnen behoorlijk oplopen. Tapes en tapedrives zijn erg prijzig.

Je kan ook kijken naar een disk to disk oplossing.

Je servers en pc's schrijven data naar je backup server. Vervolgens wordt de inhoud van de server naar een externe HD gekopieerd. De externe HD gaat vervolgens de kluis in. Met 7 externe disks kan je op die manier snel tot 7 dagen terug in het geval van problemen.

[Verwijderd]

Tape? Gezien de lage prijzen van 500GB schijven lijkt me tape niet echt interessant (meer). Ik heb nooit de voordelen van tapebackup gezien; HDDs zijn veel flexibeler, sneller, goedkoper per GB en breder inzetbaar en last but not least: direct opvraagbaar. En tapes zet je niet even in RAID, enzo.

Ik zou eens kijken naar NAS zelfbouw. FreeNAS als OS is leuk maar de per-user rechten op SMB/CIFS is nog niet geimplementeerd; tenzij je zelf de smb.conf wilt aanpassen. Een 'echte' FreeBSD installatie is daarom een aanrader. Stel je koopt twee Samsung T166 500GB schijven voor 125 euro per stuk ofzo, dan kun je die in RAID1 zetten.

Je installeert gewoon FreeBSD erop en zet tijdens/na de installatie de schijven in RAID1; hiervoor zijn diverse tutorials beschikbaar op internet, RAID1 en FreeBSD zou in google wonderen verrichten.

[Deegroller]

Verwijderd schreef op vrijdag 23 maart 2007 @ 12:59: Een 'echte' FreeBSD installatie is daarom een aanrader. Stel je koopt twee Samsung T166 500GB schijven voor 125 euro per stuk ofzo, dan kun je die in RAID1 zetten.

Dank je voor deze terugkoppeling.

Ik ga ervan uit dat ik details over zo'n systeem kan terugvinden in het DIY-topic. Maar ik heb toch alvast een vraag: Naast een kast, voeding, een moederbord en een losse RAID-kaart (?) heb ik dan qua hardware nodig:
-twee Samsung T166 500GB schijven (door jou voorgesteld) in RAID1 opstelling,
-twee 'Hot Swappable' Drives en een drive lade, ter verwisseling van het backup medium.
Zoiets dus:

Of vergis ik me nu gruwelijk of vergeet ik belangrijke dingen?

[Verwijderd]

Deegroller schreef op vrijdag 23 maart 2007 @ 13:22:
Maar ik heb toch alvast een vraag: Naast een kast, voeding, een moederbord en een losse RAID-kaart (?) heb ik dan qua hardware nodig:
-twee Samsung T166 500GB schijven (door jou voorgesteld) in RAID1 opstelling,
-twee 'Hot Swappable' Drives en een drive lade, ter verwisseling van het backup medium.

Beter gebruik je de onboard Serial ATA aansluitingen van je moederbord; dus geen losse RAID-kaart die over PCI loopt. Ik hecht meer waarde aan goede Software RAID dan aan fake RAID (te vinden op onboard chips en goedkope RAID kaartjes).

Voor wat betreft je backup zie ik diverse mogelijkheden:

• Je vertrouwt op RAID1 en kiest voor geen stricte backup, maar backupt gewoon in een map, bijvoorbeeld naar een andere share die dus de backups bevat. In feite sla je informatie dus dubbel op, op hetzelfde RAID volume.
• Je kiest voor ZFS die een history kent waardoor backups overbodig kunnen worden.
• Je plaatst een extra Samsung T166 500GB schijf zonder RAID waarop je elke nacht een dump maakt. De schijf draait intern in dezelfde kast.
• Je plaatst een extra schijf in een hot-swappable drive-case, zodat je hem na de backup kunt opbergen in een kluis en elke week ofzo een nieuwe 'dump' kunt maken, waarna je hem weer in de kluis opbergt.
• Je bouwt een tweede (oud/simpel) systeem met een enkel 500GB schijfje, kan ook PATA zijn. En via het netwerk (rsync/rdist) synchroneer je deze met de hoofd fileserver, of je maakt een nightly/weekly/monthly backup.
• Je bouwt een eigen SAN met combinaties van bovenstaande technieken

Lijstje is gesorteerd van makkelijk/goedkoop naar moeilijk/duur.

Zelf kan de 1e optie interessant zijn als je niet hele hoge eisen hebt, of de 3e of 4e optie. 4e optie heeft als voordeel dat brand oid. je data niet verwoest omdat je je backupschijf in de kluis hebt liggen. Dit vereist echter wel discipline en procedures. Zelf heb ik eennalaatste optie: elke hoofd-fileserver heeft zijn eigen backup-fileserver die om de zoveel tijd een dump trekt ('s nachts) van de hoofd-fileserver. Alle systemen op eigen UPS aangesloten.

[Deegroller]

Verwijderd schreef op vrijdag 23 maart 2007 @ 13:39:
[...]Voor wat betreft je backup zie ik diverse mogelijkheden:
...
• Je plaatst een extra schijf in een hot-swappable drive-case, zodat je hem na de backup kunt opbergen in een kluis en elke week ofzo een nieuwe 'dump' kunt maken, waarna je hem weer in de kluis opbergt.
...

Jouw optie 4 (hierboven gequote) is voor ons het meest interessant. De data moeten inderdaad in de kluis (of in ons geval, met iemand mee naar huis) in geval van brand/inbraak. Hier zouden we zelfs twee drives willen gaan gebruiken. Op één backup-drive wordt 's nachts de backup gezet, en deze wordt de volgende ochtend vervangen door de tweede bakup-drive. Dit betekent in het ergste geval een dataverlies van 24 uur. (Deze opstelling is mogelijk, neem ik aan?)

Desalniettemin is optie 6, een Storage Area Network, interessant om in gedachten te houden. Hierbij vervalt namelijk de noodzaak van de handeling van het dagelijks swappen van de drives.

[LinuZZ]

Nadeel van schijven is wel dat ze kwetsbaarder zijn dat tapes.

en dan nog iets, om hoeveel gebruikers gaat het want als er veel gebruikers tegelijk bestanden gaan opvragen dan ben je misschien beter af met SCSI schijven of 10000RPM raptors.

[Verwijderd]

LinuZZ schreef op vrijdag 23 maart 2007 @ 18:06:
Nadeel van schijven is wel dat ze kwetsbaarder zijn dat tapes.

Daarvoor biedt RAID zich weer aan; alhoewel je een backup natuurlijk niet in RAID hoeft te hebben. Trouwens tussendoor voor de TS: als backupschijf kun je natuurlijk ook een externe USB schijf gebruiken, dat hoeft niet perse een swappable interne schijf te zijn.

en dan nog iets, om hoeveel gebruikers gaat het want als er veel gebruikers tegelijk bestanden gaan opvragen dan ben je misschien beter af met SCSI schijven of 10000RPM raptors.

Voor multiuser-performance ben je veel beter af met RAID, RAID schaalt echt gigantisch in multiconcurrency benchmarks. Dat verschil kan met 400%-500% oplopen t.o.v. single concurrency.

[LinuZZ]

Verwijderd schreef op vrijdag 23 maart 2007 @ 18:40:
[...]

Daarvoor biedt RAID zich weer aan; alhoewel je een backup natuurlijk niet in RAID hoeft te hebben. Trouwens tussendoor voor de TS: als backupschijf kun je natuurlijk ook een externe USB schijf gebruiken, dat hoeft niet perse een swappable interne schijf te zijn.

[...]

Voor multiuser-performance ben je veel beter af met RAID, RAID schaalt echt gigantisch in multiconcurrency benchmarks. Dat verschil kan met 400%-500% oplopen t.o.v. single concurrency.

bij raid 1 echter heb je dat niet

[Verwijderd]

LinuZZ schreef op vrijdag 23 maart 2007 @ 18:54:
[...]


bij raid 1 echter heb je dat niet

Voor leesopdrachten wel.

Maar zoals overal hangt het van de implementatie van het RAID-level af hoe goed de potentiele performance wordt gerealiseerd. Die lullige onboard drivertjes doen echt geen fancy load-balancing op RAID1-schijven.

[Deegroller]

LinuZZ schreef op vrijdag 23 maart 2007 @ 18:06:
...en dan nog iets, om hoeveel gebruikers gaat het want als er veel gebruikers tegelijk bestanden gaan opvragen dan ben je misschien beter af met SCSI schijven of 10000RPM raptors.

Het gaat om < 20 gebruikers, die elk ongeveer 15 a 30 keer per dag een bestandje (.doc/.xls/.pdf) wijzigen, opslaan. Geen heavy gebruik in ieder geval.

Echter, wij produceren medische producten, waarbij een ontzettende berg 'papierwerk' gegenereerd wordt. Dit wordt door één persoon beheerd, moet centraal worden opgeslagen, en voor iedereen toegankelijk (read-only) zijn. Daarnaast hebben afzonderlijke afdelingen toegang tot 'hun' deel op de fileserver. Dit betekent dat een vorm van user-management noodzakelijk is.

Verwijderd schreef op vrijdag 23 maart 2007 @ 19:28:
[...]...Maar zoals overal hangt het van de implementatie van het RAID-level af hoe goed de potentiele performance wordt gerealiseerd. Die lullige onboard drivertjes doen echt geen fancy load-balancing op RAID1-schijven.

Waar moet ik aan denken, als ik géén lullig onboard drivertje wil gaan gebruiken?

[Verwijderd]

Deegroller schreef op maandag 26 maart 2007 @ 11:20:
Waar moet ik aan denken, als ik géén lullig onboard drivertje wil gaan gebruiken?

Software RAID, stukken beter.

Behalve in Windows dan. Maar FreeBSD heeft een uitstekende geom_mirror en linux zal vast ook wel wat intelligents hebben. Gebruik op Windows als het even kan wel een journaling filesystem.

[aZuL2001]

Ik weet niet hoe de rest van jullie omgeving er uit ziet, maar Buffalo heeft NAS oplossingen die Active Directory kunnen gebruiken voor rechtenbeheer.

Zou een mogelijkheid kunnen zijn.

En RAID is geen backup, dus ik zou zeker ook nog wegschrijven naar bijv een USB schijf.
Maar dat was al gezegd geloof ik

[cyspoz]

Bedenk ook dat je backup voor meer soms wilt hebben dan alleen maar direct data verlies. Stel je voor een gebruiker slaat een bestand op met Word en dat gaat fout waardoor het bestand corrupt raakt. Gebruiker heeft het niet direct in de gaten en komt er pas 4 dagen later achter. Ondertussen staat op al je backups dat bestand ook corrupt en kun je geen versie meer terug halen van voor het corrupt raken.
Hetzelfde met een virus dat zich stilletjes nesteld en je er pas later achter komt dat ook al je backups corrupt of van virus voorzien zijn.

[Deegroller]

Verwijderd schreef op maandag 26 maart 2007 @ 13:55:... journaling filesystem.

aZuL2001 schreef op maandag 26 maart 2007 @ 14:10:...Buffalo ... Active Directory ...

Ik heb weer genoeg te googlen merk ik!

cyspoz schreef op maandag 26 maart 2007 @ 14:21:
Bedenk ook dat je backup voor meer soms wilt hebben dan alleen maar direct data verlies. Stel je voor een gebruiker slaat een bestand op met Word en dat gaat fout waardoor het bestand corrupt raakt. Gebruiker heeft het niet direct in de gaten en komt er pas 4 dagen later achter. Ondertussen staat op al je backups dat bestand ook corrupt en kun je geen versie meer terug halen van voor het corrupt raken.
Hetzelfde met een virus dat zich stilletjes nesteld en je er pas later achter komt dat ook al je backups corrupt of van virus voorzien zijn.

Los ik dit op door het maken van wekelijkse en maandelijkse backups, naast de dagelijkse backups? Of doel je op een andere methodiek?

Enerzijds kan ik kiezen voor een DIY-systeem met FreeBSD, enkele SATA-schijven en een swappable interne schijf ter backup (voor in de kluis).
Anderzijds is zo'n apparaat waar 'aZuL2001' over schrijft (Buffalo Terastation NAS), ook een optie.
Ik merk dat collega's hun wenkbrouwen laten fronzen als ik het over DIY heb. Zij zien liever een kast dat zowat 'direct uit de doos' zijn werk kan doen. Het enige dat dan nog geregeld moet worden is een backup-systeem. Externe schijf via USB is dan wellicht een optie. Toch?

[aZuL2001]

Da's een oude review uit 2005.
Tegenwoordig hebben ze ook een Pro variant.
Check 1

En voor welke versie je nodig zou hebben : klik 2

[cyspoz]

Deegroller schreef op maandag 26 maart 2007 @ 14:56:
Los ik dit op door het maken van wekelijkse en maandelijkse backups, naast de dagelijkse backups? Of doel je op een andere methodiek?

Dat is inderdaad waar ik op doel. Je moet misschien voor jezelf nagaan hoe groot het risico is dat zulke situaties voorkomen en wat de schade kan zijn.

Deegroller schreef op maandag 26 maart 2007 @ 14:56:
Externe schijf via USB is dan wellicht een optie. Toch?

Niet iedere pc ondersteund de hot swap functie van sata. Volgens mij heeft dat te maken met support van de drivers. Nu heb je tegenwoordig eSata wat het wel ondersteund dus dat zou een uitkomst bieden. Als je dat nu niet hebt kun je ook nog altijd een USB --> Sata module nemen. Daar kun je dan een sata schijf aan hangen. Aangezien USB wel hot swap is kun je dan de hd wel verwijderen.

Het kan interresant zijn om een swappable frame te gebruiken en dan via eSata of USB --> Sata module aan te sluiten. Vervolgens wissel je daarmee de HD's.

[Deegroller]

aZuL2001 schreef op maandag 26 maart 2007 @ 15:20: Da's een oude review uit 2005. Tegenwoordig hebben ze ook een Pro variant...

Thanks!

cyspoz schreef op maandag 26 maart 2007 @ 15:46:
[...]Dat is inderdaad waar ik op doel. Je moet misschien voor jezelf nagaan hoe groot het risico is dat zulke situaties voorkomen en wat de schade kan zijn.

Ook thanks!

cyspoz schreef op maandag 26 maart 2007 @ 15:46:
Niet iedere pc ondersteund de hot swap functie van sata. Volgens mij heeft dat te maken met support van de drivers. Nu heb je tegenwoordig eSata wat het wel ondersteund dus dat zou een uitkomst bieden. Als je dat nu niet hebt kun je ook nog altijd een USB --> Sata module nemen. Daar kun je dan een sata schijf aan hangen. Aangezien USB wel hot swap is kun je dan de hd wel verwijderen.

Het kan interresant zijn om een swappable frame te gebruiken en dan via eSata of USB --> Sata module aan te sluiten. Vervolgens wissel je daarmee de HD's.

Ik doelde niet zo zeer op een PC met een externe HD, maar een apparaat zoals aZuL2001 bedoelde. Hiervan zou ik, met een externe HD via USB, iedere nacht een backup kunnen laten maken, toch? De volgende ochtend wordt de externe HD dan verwisseld met een andere externe HD, waarna de backup in de kluis gaat. Ik neem aan dat dit mogelijk is?

[ Voor 18% gewijzigd door Deegroller op 27-03-2007 10:33 ]

[cyspoz]

Ik ken dat apparaat niet, maar met een beetje studie zal er wel iets over in de handleiding/specificaties staan. Nog een kleinde aanvulling op mijn verhaal. Als er bij jullie niet al te vaak bestanden gewijzigd worden dan kan het interresant zijn om te zoeken naar een appraat of stuk software wat incrementele backups ondersteund. Dan worden namelijk alleen die bestanden gebackupped die gewijzigd zijn. Dat bespaart mogelijk een hele hoop ruimte waardoor je meerdere versies van bestanden kan bewaren zonder dat het heel veel ruimte in neemt.

[Verwijderd]

Deegroller schreef op maandag 26 maart 2007 @ 14:56:
Ik heb weer genoeg te googlen merk ik!

Ik zeg het moeilijker dan nodig is, met journaling filesystem bedoel ik b.v. NTFS in plaats van FAT(32). Zeker op een externe schijf kan dat dataverlies voorkomen door plotselinge disconnects.

Enerzijds kan ik kiezen voor een DIY-systeem met FreeBSD, enkele SATA-schijven en een swappable interne schijf ter backup (voor in de kluis).
Anderzijds is zo'n apparaat waar 'aZuL2001' over schrijft (Buffalo Terastation NAS), ook een optie.
Ik merk dat collega's hun wenkbrouwen laten fronzen als ik het over DIY heb. Zij zien liever een kast dat zowat 'direct uit de doos' zijn werk kan doen. Het enige dat dan nog geregeld moet worden is een backup-systeem. Externe schijf via USB is dan wellicht een optie. Toch?

Mja zelfde geldt voor computers. De een vindt het supereng om zoiets zelf te maken en zegt meer 'vertrouwen' te hebben in een PC waarbij een dell-engineer de schroefjes heeft vastgedraaid. De ander die wilt zich er wel in verdiepen en kiest voor hoogwaardiger(e) onderdelen en zet een systeem naar zijn/haar wensen in elkaar.

Met dat laatste ben je in feite altijd beter af. Bij een NAS is dat niet heel veel anders, met hooguit de uitzondering dat NAS OEMs wel beschikking hebben tot leuke kleine designkasten en je daar als consument veel minder makkelijk aan komt. Qua functionaliteit en prijs-prestatie verhouding zit je met zelfbouw iig stukken beter.

[ Voor 4% gewijzigd door Verwijderd op 27-03-2007 19:04 ]

[Deegroller]

cyspoz schreef op dinsdag 27 maart 2007 @ 18:30: [...] Als er bij jullie niet al te vaak bestanden gewijzigd worden dan kan het interresant zijn om te zoeken naar een appraat of stuk software wat incrementele backups ondersteund. Dan worden namelijk alleen die bestanden gebackupped die gewijzigd zijn. Dat bespaart mogelijk een hele hoop ruimte waardoor je meerdere versies van bestanden kan bewaren zonder dat het heel veel ruimte in neemt.

Dat had ik inderdaad al ergens gelezen, en is ZEKER iets dat ik ga meenemen in alle afwegingen. De inmiddels gegenereerde hoeveelheid data die beschikbaar moet zijn is inmiddels groot (150GB), maar er zijn dagelijks maar een paar MB wijzigingen.
Dank je voor je tip!

[flipthegreat]

Welke oplossing is het nu uiteindelijk geworden ?