Het grote DIY RAID NAS topic deel 2

[IJnte]

De Lian-Li PC-B71 heeft dat ook Ziet er verder identiek uit als de B70, maar met SATA backplane:

Op de foto staat hij eigenlijk verkeerd voor Hot-Swap, maar je kan em 90 graden draaien

The PC-B71 features a door with a lock on the HDD front panel which secures the SATA/ SAS Hot Swappable HDD Cage inside the case. It supports up-to seven HDDs. Users can easily switch HDDs as needed. The SATA / SAS back panel doesn’t feature any raid natively and functions as a pass-through and so it requires a compatible motherboard for the RAID and hot swap SATA / SAS functions.

Kvraag me alleen wel af of het nut heeft om een HotSwap disk in de case te hebben

[ Voor 5% gewijzigd door IJnte op 16-03-2009 22:37 ]

[YOYONL]

Ik ben iig ook niet geinterreseerd in hotswappen ik heb het nu wel maar of je het als NAS echt nodig hebt ik weet het niet. (Als er mensen zijn met een andere mening hoor ik dat graag natuurlijk)

Verder zit ik nog te dubben tussen 500 GB schijven of 1 TB schijven..
Heb al wel wat topics gezien en gelezen maar toch weet ik neit goed wat ik zou moeten nemen...

[WoRsTeNBoY]

Ik zou gaan voor 1TB schijven, de prijs / Gb is bij deze schijven atm beter

[Rob1106]

WoRsTeNBoY schreef op dinsdag 17 maart 2009 @ 09:51:
Ik zou gaan voor 1TB schijven, de prijs / Gb is bij deze schijven atm beter

Prijs per Gb is de seagate 7200.11 1.5TB ook heel goed... De goedkoopste terabyte is 80 euro en de seagate is 120 euro. Het is dan natuurlijk handiger om de 1.5T te nemen (afhankelijk van je wensen). Je kan dan namelijk in de toekomst meer uitbreiden aangezien je SATA-ports minder snel volzitten (of je behuizing).

[laurensxeon]

ik wil ook graag beginnen met een simpele NAS en dan niet met raid o.i.d. gewoon 1 standaard schijf van 700GB. deze moet dus via het netwerk beschibaar zijn. dat is allemaal niet z'n probleem.

maar er moet ook op gedownload worden. en remote toegankelijk zijn. en als de server een half uur niks doet dus klaar is met bv. downloaden dan moet ie automatisch in hibernate gaan tot dat ie weer benaderd word via het netwerk,

het gaat om een laptop zonder scherm, 1.8Ghz PIV.

dus ff in het kort.

• 700GB beschibaar via netwerk (lukt wel)
• Download PC (lukt ook wel)
• Remote toegang (rdp) (lukt ook wel)
• automatisch hibernate/slaapstand bij 30 min inactiviteit (geen idee)
• aanspringen bij lan activiteit (geen idee)

ik kan me voorstellen dat er toch wel meer mensen op deze manier werken.

[Quadro!]

laurensxeon schreef op dinsdag 17 maart 2009 @ 11:59:

• automatisch hibernate/slaapstand bij 30 min inactiviteit (geen idee)
• aanspringen bij lan activiteit (geen idee)

De eerste kun je gewoon instellen bij het power management van je OS. De tweede moet je even googlen op Wake on Lan. Is idd geen rocket science

[ Voor 3% gewijzigd door Quadro! op 17-03-2009 13:19 ]

[WoRsTeNBoY]

Kennen jullie ergens een webshop / hardwaresite waar je moederborden kunt filteren op aantal sata poorten?
De tweakers pricewatch heeft net die filter niet...

Mijn doel is om een moederbord te vinden dat niet te duur is en veel sata poorten heeft
(minstens 6 à .

Dit laat toe om later nog schijven bij te steken en de raid5 te expanden.

[Rob1106]

Je kunt voor een paar tientjes al een sata controller halen, dat kan je ook meenemen in je overweging voor het te kiezen moederbord.

[WoRsTeNBoY]

Rob1106 schreef op dinsdag 17 maart 2009 @ 13:39:
Je kunt voor een paar tientjes al een sata controller halen, dat kan je ook meenemen in je overweging voor het te kiezen moederbord.

dan twijfel ik aan de performantie, of het moet iets pci-x achtig zijn,
wat dan weer niet voor een paar tientjes te verkrijgen is denk ik...

[remmelt]

Klopt, de enige die dan in aanmerking komt is de 8x SATA 300 low profile SuperMicro:
pricewatch: Supermicro AOC-SAT2-MV8 (8x SATA300, PCI-X64/133, LP)
Die is dan ook meteen €103.

Er staat ook een Trust van 22 euro in de pricewatch maar die heeft geen interne SATA poorten, in tegenstelling tot wat er in de pw staat aangegeven.

[WoRsTeNBoY]

hmmm, bedankt, die prijs valt eigenlijk nog wel mee vind ik,
als je dit combineerd met een mobo dat reeds 6xsata heeft,
kan je wel een serieuze nas creëren (14x2TB in raid 6 zou dan 24TB geven )

lijkt me ruimte genoeg naar de toekomst toe

[ericafterdark]

Heeft er iemand trouwens al een betere variant gevonden op de Jetway NC62K ? (Dus ook minimaal 4x S-ATA met onboard RAID en 2x gbit in mini size)

[abusimbal]

2 AMD 780G bordjes
http://www.hardware.info/..._780GSP128MB_780GSP128MB/
http://www.hardware.info/...uctspecs/Albatron_KI780G/

Of een Intel G45
http://www.hardware.info/...s/Intel_DG45FC_BOXDG45FC/

En een review van de 3
http://www.hardware.info/...SP128MB__Albatron_KI780G/

Nog een GeForce8200 bord
http://pden.zotac.com/ind...n=com_virtuemart&Itemid=1

En het laatste nieuwe GeForce 9300 ITX bordje voor Intel
http://www.zotac.com/http...orce-9300-itx-wifi_v2.pdf

[ Voor 42% gewijzigd door abusimbal op 17-03-2009 22:27 ]

[WoRsTeNBoY]

abusimbal schreef op dinsdag 17 maart 2009 @ 21:58:
2 AMD 780G bordjes
http://www.hardware.info/...

Bedank!

dit is net wat ik zocht,
na achteraan bij "Serial Ata" te klikken op " (Zoek producten met zelfde (of betere) eigenschap)",
viel me op dat er in het "Vrij zoeken" veld staat "/23 >= 4/"
waaruit ik kan afleiden dat /23 staat voor de parameter interne sata, en >= 4 kan je zelf wel bedenken.

Super, nu kan ik moederbordjes zoeken met 780G chipset en bvb minstens 6 sata poorten.

[ericafterdark]

Als ik die bordjes vergelijk blijft de Jetway NC62K toch een topper met 2x Gbit, ondersteuning voor RAID5 etc.

[remmelt]

Ja, mooi ding is dat. Wel best duur...

[Quadro!]

@Remmelt: duur vind ik wel meevallen, als je kijkt wat voor hardware ze op 17x17cm weten te proppen En het is bovendien een van de goedkopere m-ITX bordjes met een gewone CPU socket.

Hmm... die Zotac 9300 ITX wifi is ook zeer interessant, helaas heeft die maar 2x sata. Wel raar, want als je op onderstaand plaatje kijkt lijkt het er op dat er naast die 2 interne sata poorten de soldeerpunten zitten voor nog 2 sata poorten

[ Voor 21% gewijzigd door Quadro! op 18-03-2009 12:12 ]

[WoRsTeNBoY]

Eiríkr schreef op woensdag 18 maart 2009 @ 11:19:
Als ik die bordjes vergelijk blijft de Jetway NC62K toch een topper met 2x Gbit, ondersteuning voor RAID5 etc.

Waarvoor heb je 2x Gbit nic nodig ?

@Quadropluxor:
dat snap ik dus ook niet,
afaik gebruiken veel van zulke designs chipsets die meer sata poorten kunnen gebruiken dan er connectors op staan,
besparing op connectors zal het echt toch niet zijn hoop ik... wat kan zulke connector nu kosten als je ze in grote loten koopt...

Langs de andere kant, als je de form factor bekijkt, vraag je je af waar je met 4 sata toestellen gaat blijven...

[ericafterdark]

WoRsTeNBoY schreef op woensdag 18 maart 2009 @ 12:53:
[...]


Waarvoor heb je 2x Gbit nic nodig ?

@Quadropluxor:
dat snap ik dus ook niet,
afaik gebruiken veel van zulke designs chipsets die meer sata poorten kunnen gebruiken dan er connectors op staan,
besparing op connectors zal het echt toch niet zijn hoop ik... wat kan zulke connector nu kosten als je ze in grote loten koopt...

Langs de andere kant, als je de form factor bekijkt, vraag je je af waar je met 4 sata toestellen gaat blijven...

Heeft het geen nut om 1gbit voor up en 1gbit voor down te gebruiken dan?

[Quadro!]

@tank. Link Aggregration (waar jij dus in feite op doelt) is niet eens zo hele eenvoudig en de meeste huis/tuin en keuken switches ondersteunen dat ook niet.

De voornaamste reden dat ik een bordje wilde met 2x gbit was omdat het tegelijk m'n router wordt. Tuurlijk kun je ook een andere NIC erbij plaatsen, maar met maar 1 PCI slot vind ik dat zonde, want ik wil er op termijn ook een TV-tuner in stoppen

het is trouwens een beetje overbodig de persoon boven je volledig te quoten

[ Voor 47% gewijzigd door Quadro! op 18-03-2009 13:11 ]

[fixma]

Heeft iemand nog een Chenbro ES34069 binnen gekregen?
Heb de mijne bij PC Megastore besteld met een levertijd tussen 6-10 dagen, dat is nu al meer dan 10 dagen en men melde dat de Nederlandse distributeur van Chenbro nog geen voorraad heeft gekregen vanuit Chenbro, dus dat het nog wel lang kan duren.

Enigste die nog een voorraad zou hebben is Salland Automatisering en wel met levertijd van 1 - 5 werkdagen.
Maar als je navraagd wordt er gezegd dat ik hem eerst moet bestellen/betalen en dat men dan de echte levertijd meld(!) Lekker allemaal

Dus wie weet nog een echte voorraad of is hij echt EOL?

[Quadro!]

Ik krijg morgen een exemplaar met de post, maar die kwam uit de voorraad van Informatique zelf. Als je het zeker wilt weten moet je ff met Chenbro mailen De schaarste is ook wel logisch, hoewel de featureset briljant is, lijkt me de markt voor dit kastje op dit moment relatief klein.

[ Voor 8% gewijzigd door Quadro! op 18-03-2009 14:51 ]

[WoRsTeNBoY]

@Quadropluxor
routertje spelen zou mijn toekomstige nas ook moeten gaan doen,
echter met 1 nic is dit toch goed te doen?

je kan immers aan 1 nic meerdere aliassen koppelen zodoende je nas met 1 ip in de range van je modem / internetgateway zit en met het andere ip in jouw thuisnetwerk?

Zeker als je keuze voor 2 nic's niet van snelheid uitgaat zou ik het zo oplossen,
zo hou je wat meer keuzeruimte over in moederbordland...

[remmelt]

Hmm, heb je daar wat documentatie over? Scheelt wel in snelheid natuurlijk, maar als het dan echt te ver gaat kun je altijd nog een nic bijplaatsen.

[WoRsTeNBoY]

zo op 123 vond ik net deze url http://www.cyberciti.biz/...as-to-a-network-card-nic/

als je op google zoekt naar linux network alias ofzo kom je wel wat tegen
zo kan je 1 nic laten luisteren op 2 subnets

routing tussen die 2 is een appart onderwerp wat ook niet zo moeilijk is (kwestie van commando "route add ...")

man ifconfig
man route

hopelijk wijs ik je een beetje de juiste richting uit

[Xiphalon]

Welke bordjes stoppen jullie in je Chenbro ES34069?

Ik zelf wil er een MSI IM-945GC
in zetten, heb ik al in bestelling, maar niemand weet of ze nog uitgeleverd gaan worden...

[fixma]

darkmage schreef op donderdag 19 maart 2009 @ 09:54:
Welke bordjes stoppen jullie in je Chenbro ES34069?

Ik zelf wil er een MSI IM-945GC
in zetten, heb ik al in bestelling, maar niemand weet of ze nog uitgeleverd gaan worden...

Heb redelijk rond gekeken en de Jetway NC62K is het meest gebruikt voor dit kastje. Voor mij doel is het ook mijn keuze..

[pelican]

darkmage schreef op donderdag 19 maart 2009 @ 09:54:
Welke bordjes stoppen jullie in je Chenbro ES34069?

Ik zelf wil er een MSI IM-945GC
in zetten, heb ik al in bestelling, maar niemand weet of ze nog uitgeleverd gaan worden...

Heb er de IM-945gse in zitten,
met een extra pci kaartje voor 2 extra sata poorten (4 dus in totaal).

[vso]

Zo ik draai freebsd 6.3 NAS met de fbsd howto hier op got

SAMBA3 is/was alleen een B*tch om aan de praat te krijgen, ter info draai win2k3 in native mode
en ik weiger om windowsdozen aan te passen, het moest en zou kunnen. (en het kan)

O voor mensen die me willen volgen, krb5, openldap-client, ntp pam(modules) installeren VOOR samba installatie !!
NTP mag maar 5 min out of sync lopen met de windows DC anders gaat het FOUT !
(dit geld voor server <--> server communicatie en server <---> client !! )

2 probs die ik tegenkwam met samba
* smbclient kon niet op de fbsdbak, en desktop (bakA) connecten maar wel met DC
* /var/log/samba/log.<ipadress-bakA> was er wel maar /var/log/samba/log.<hostname-bakA> werd niet aangemaakt .. een touch van de laatste en "het werkte" voor de desktop en fbsdbak (wierd )

goed nu is me wins(server) aan het ijlen maar dat kan ook komen omdat ik mijn win2k3 server VMconverted heb naar een vmworkstation (straks omzetten of nieuwe bouwen op esxi server)
wins op de sambaserver werkt ook niet goed

meer samba issues
* poort 445 op fbsd werkt niet ?
* bind(en) aan em0(nic) laat het errors regen via logs 1 of andere reden ook nog communicatie met localhost en connecties gaan altijd eerst via localhost
* getent group/passwd samen pam.d authenticatie op je bsd server is nog vak apart
* samba kan geen cifs of nt1 login ?
* nu zit ik nog met een login passwd prompt op de windows clients (moet weg)
* wins niet via dns ? oftewel browsen in de netwerk omgeving binnen windows is een ramp


iscsi(grote disks) en PXE (floppydisk)
veel mensen weten het niet maar met PXE kan je bijna elk systeem booten met een floppydisk image kost wat werk om je windows/ander os installatie daarvan te laten booten en automagisch te laten installeren maar het kan. (ook handig voor rescue tools)
maar met ISCSI kan je je interne disk vergeten en dus direct vanaf je NAS draaien (ook met nfs ?)
handig voor snel ff een ander systeem optuigen ..


goed terug naar freebsd, tunen van de tcp ip (systcl -a net.inet) kan performance boost opleveren
o en mijn backup script (/backup = een usbstick voor zeer belangrijke data)

code:

#!/bin/sh

cp /etc/exports /backup/fbsdnas/etc/exports
cp /usr/local/etc/smb.conf /backup/fbsdnas/usr/local/etc/smb.conf
cp /etc/resolv.conf /backup/fbsdnas/etc/resolv.conf
cp /etc/rc.conf /backup/fbsdnas/etc/rc.conf
cp /etc/krb5.conf /backup/fbsdnas/etc/krb5.conf
cp /etc/fstab /backup/fbsdnas/etc/fstab
cp /etc/nsswitch.conf /backup/fbsdnas/etc/nsswitch.conf
cp /etc/ldap.conf /backup/fbsdnas/etc/ldap.conf
cp /etc/ntp.conf /backup/fbsdnas/etc/ntp.conf
cp /etc/ntp.drift /backup/fbsdnas/etc/ntp.drift
cp /etc/pam.d/nsswitch /backup/fbsdnas/etc/pam.d/nsswitch
cp /etc/pam.d/login /backup/fbsdnas/etc/pam.d/login
cp /etc/pam.d/sshd /backup/fbsdnas/etc/pam.d/sshd
cp /etc/inetd.conf /backup/fbsdnas/etc/inetd.conf
cp /etc/iscsi/targets /backup/fbsdnas/etc/iscsi/targets
cp /etc/hosts /backup/fbsdnas/etc/hosts
cp /usr/local/etc/iscsi/targets /backup/fbsdnas/usr/local/etc/iscsi/targets

zeer handig om die belangrijke meuk te backuppen

oww weet iemand een tool om je software op je nas te scannen voor virussen ? (liefst gratis) wel handig als je een redelijk grote repository hebt van software

[ Voor 3% gewijzigd door vso op 20-03-2009 05:56 . Reden: virusscanner vraag ]

[WoRsTeNBoY]

amavis

[P5ycho]

amavis is een mailscanner. fail.

sommige downlaodtools hebben de optie om een externe tool te starten als de download klaar is, je zou dan bijv. ClamAV er overheen kunnen halen.
Samba heeft een plugin/extension voor virusscans, en evt. kan een wekelijks cronscript nog een dirty solution wezen.

[ Voor 80% gewijzigd door P5ycho op 20-03-2009 09:29 ]

[WoRsTeNBoY]

inderdaad, waarschijnlijk omdat ik de combinatie clamav + amavis gebruik
dat amavis als enigste keyword naar boven kwam.

om dan ineens met "fail" af te komen lijkt me toch wel een zeer arrogante opmerking!
(zeker omdat amavis als keyword je snel naar een hoop av-scanners voor linux gidst)

[P5ycho]

"fail" is hier thuis en onder vrienden een stopwoordje geworden, dat zonder emoticon nogal verkeerd overkomt inderdaad. Mijn excuses bij deze.

[Verwijderd]

ik was in de start topic aan het kijken voor wat freeNAS en freeBSD aan chipsets ondersteunen.
en ik was aan het kijke of dit bordje ondersteund werdt:

pricewatch: Asus M2N68-AM

maar de nieuwste versie die ik in freeBSD tegen kwam was nForce4, vroeg me af ik nu gewoon blind was en en geen nieuwere versies kon vinde in de lijst want een nForce 4 is toch redelijk antiek?

edit: of ben ik net zo goed af een bord met andere chipset te nemen en dan geheel software matig via freeNAS raid 5 opstelling te maken? (lijkt me wel wat trager aangezien de chipset toch wel een deel de cpu ontlast)

[ Voor 19% gewijzigd door Verwijderd op 23-03-2009 23:57 ]

[Mafketel]

Sun heeft een "nieuwe" storage oplossing uitgebracht op basis van hun bestaande x86 lijn. Wat wel leuk is om te kijken wat voor performance je nodig hebt en welke hardware daarbij hoort. Overigens kan ik niet zo gauw vinden wat de hardware verschillen zijn tussen de server en storage versies. En de gebruikte software lijkt alleen op de hardware meegeleverd te worden en ook hier vraag ik mij af wat het verschil is met de standaard solaris/opensolaris install mogelijkheden.
Met nog wat meer neuzen zag ik dit voorbij komen http://pulsaros.digitalplayground.at/ Pulsaros een project wat freenas wil benaderen alleen dan met opensolaris. [disclaimer]VERY ALPHA[/disclaimer]

[ericafterdark]

Ik begin een beetje te twijfelen, misschien geen mini itx en Chenbro kastje maar een volwaardige computer met Ubuntu Server oid. Dit zodat hij makkelijker is uit te breiden en ik hem meer als computer kan gebruiken. Zucht Andere kast zoeken, ander moederbord en vooral zuinig.

[WoRsTeNBoY]

Verwijderd schreef op maandag 23 maart 2009 @ 23:26:
of ben ik net zo goed af een bord met andere chipset te nemen en dan geheel software matig via freeNAS raid 5 opstelling te maken? (lijkt me wel wat trager aangezien de chipset toch wel een deel de cpu ontlast)

hangt af van het doel van de uiteindelijke computer,
indien hij enkel als thuis-nas functioneert, dan is softwareraid zeker ok!

Ik vind softwareraid in dat geval beter dan HW-raid (als je HW controller stuk gaat moet je dezelfste controller kopen of een model dat aan die raidstructuur uit kan, zelfste merk dan ofzo..)
bij softwareraid kan je je schijven in een andere pc steken en de raid terug lezen (als die niet beschadigd is)

als je de dag van vandaag een vers mobo + passende cpu nieuw koopt, heb je al meer dan genoeg cpu power ter beschikking voor softwareraid @ home imho

[Verwijderd]

WoRsTeNBoY schreef op woensdag 25 maart 2009 @ 10:08:
Ik vind softwareraid in dat geval beter dan HW-raid (als je HW controller stuk gaat moet je dezelfste controller kopen of een model dat aan die raidstructuur uit kan, zelfste merk dan ofzo..)
bij softwareraid kan je je schijven in een andere pc steken en de raid terug lezen (als die niet beschadigd is)

I.d.d., in de RAID FAQ wordt software RAID ook aangeraden omdat het veel flexibeler is.

[Demo]

Verwijderd schreef op maandag 23 maart 2009 @ 23:26:
edit: of ben ik net zo goed af een bord met andere chipset te nemen en dan geheel software matig via freeNAS raid 5 opstelling te maken? (lijkt me wel wat trager aangezien de chipset toch wel een deel de cpu ontlast)

Chipsets van consumentenbordjes bevatten geen intelligentie die de CPU ontlast bij het gebruik van RAID5. Daar heb je een losse controller van bijvoorbeeld Areca voor nodig. Als ik me niet vergis, is de RAID5-implementatie van FreeBSD zelfs beter (sneller/efficiënter) dan de gemiddelde fakeraid in chipsets.

[Chielos]

Ik heb zelf ook een klein systeempje in elkaar gezet:

- VIA VB7002G (64 e bij picco)
- 2gb mem
- Aopen H420B
- 2x 1TB WD Green
- CF Reader
- 2 GB CF card

Voor net geen 300 euro, best netjes denk ik zo.

Freenas geinstalleerd (Raid 1), maar ik liep tegen een transfer rate van 400kb sec aan. Beetje raar, maar goed ik wilde wat dingetjes proberen dus geformateerd en OpenFiler geprobeerd. Werkte ook niet (kwam niet door de raid build heen). Daarna met Debian aan de slag gegaan en dat lukte meteen. Transfer rates ook goed.

Maar goed, ik was onder de indruk van de feature set van Freenas en de simpelheid er van, dus ik probeerde dit weer opnieuw te installeren. Even in de logging gekeken en ik kwam de melding "vr0 Watchdog Timeout" tegen. Beetje gegoogled en veel mensen zeggen dat het een netwerkkaart fout is en dat ik er een nieuwe in moeten zetten (net nieuw moederbord, vind ik een beetje raar, plus dat debian wel goed werkt).

Is er iemand in dit topic met een Epia bord die dit probleem ook heeft met Freenas/FreeBsd? Het is de VT6103L chipset.

Zijn er uberhaupt oplossingen voor het watchdog probleem?

[Verwijderd]

Chielos schreef op woensdag 25 maart 2009 @ 14:59:
Ik heb zelf ook een klein systeempje in elkaar gezet:

- VIA VB7002G (64 e bij picco)

Dat is een heel aardig bortje moet ik zeggen (tenminste voor die prijs).

- 2x DIMM slot
- Mini PCI
- Proc onboard en low energy use

Ideaal voor een simpel backup servertje.

[Chielos]

Wel een luidruchtig fannetje, zonder fancontrol.

Maar met een beetje knutselen is ie vast passief te maken

[vargo]

Vandaag indelijk weer eens bezig met mijn NAS. Onder FreeBSD 6.3 icm Geom Raid 5 blijf ik tegen problemen aanlopen (raid array dat wegvalt / corruptie).

Er moet dus iets veranderen. Opties welke ik overweeg:

OS / software Raid5	Pros	Cons
terug naar FreeNAS + Geom Raid5	Draait out-of-the-box / meeliften op updates	Stripped FreeBSD => Nog niet stable. Weinig flexibel / uitbreidbaar. Geen garantie stabiel? Performance tunen is lastiger onder FreeNAS.
FreeBSD 7.1 + Geom Raid5	Flexibel & maximale performance (bus = bottleneck). Bekend terrein.	Geen garantie dat Geom Raid5 problemen weg zijn. Beta Expansion script niet meer mogelijk.
FreeBSD 7.1 + ZFS	Flexibel. ZFS is op papier super	ZFS @ FreeBSD => nog veel issues. Tunen schijnt een must te zijn. Performance???
FreeBSD 8 + ZFS	ZFS implementatie schijnt veel dichter bij de Open Solaris implementatie te moeten liggen	FreeBSD R8 wordt verwacht 3rd quarter 09. Tot die tijd Snapshot releases.
Open Solaris + ZFS	Stabieler dan de FreeBSD implementatie. Altijd laatste ZFS implementatie mogelijk.	onbekend met open solaris. Wat nog meer mogelijk (e.g. samba)?
Linux (distro)+ ????	???	Weinig ervaring. Onbekend met software Raid5 implementaties.

Hardware:

• Sempron 2800+
• 2.5 GB geheugen
• 1x 60GB OS schijf
• 7x 500GB voor RAID5 / RAID-Z / RAID-Z2 array
• 1x 1000 GB voor backups

Nog wat interessante links:
ZFS @ FreeBSD stability
http://wiki.freebsd.org/ZFS
http://kerneltrap.org/FreeBSD/ZFS_Stability
ZFS @ Open Solaris tutorial
http://breden.org.uk/2008/03/02/a-home-fileserver-using-zfs/

Zijn er nog mensen met andere suggesties?
Iemand ervaring met bovenstaande configs? M.n. FreeBSD+ZFS / OpenSolaris+ZFS zou mooi zijn...

[Kunio]

Ik ben momenteel aan het trachten een NAS te virtualiseren omdat ik wens zowel een HTPC als een NAS op een machine te draaien. Ik dacht oorspronkelijk aan ESXi maar dat wilde precies niet lukken. Nu heb ik dus Windows XP Professional 32bit geïnstalleerd en er VMWare op gezet. Ik heb Debian 5 geïnstalleerd, die zo prima draait. Ik ben dan verder gegaan en 3x Seagate Barracuda ST31500341AS van 1.5TB aangesloten. In VMWare kies ik ervoor om fysische schijven te gebruiken i.p.v. virtuele. Echter na het opstarten van de VM gaat het verkeerd en staat het scherm bol van volgende foutmeldingen:

end_request: I/O error, dev hdx, sector -----
Buffer I/O error on device hdx, logical block ------

Als ik d.m.v. GParted (de livecd) de harde schijven formatteer als ext3 en zo dan fysische partities ingeef in VMWare krijg ik dezelfde foutmeldingen.

Geen probleem denk ik, ik maak er wel virtuele schijven van. Helaas lukt dat niet omdat er een limiet van 950GB per schijf op zit. Zou het een goed idee zijn om van elke harde schijf 2 virtuele te maken en daar een RAID 0 van te maken en die allemaal dan vervolgens in een RAID 5 te stoppen? Of heeft er iemand een idee hoe ik van bovenvermelde foutmelding afraak?

Het is zo dat ik een aparte notebook harde schijf heb met Windows en VMWare.

Dit zijn de specs:

AMD Phenom X4 9350e
2x 2GB DDR2 PC2-6400 RAM
Gigabyte GA-MA780G-UD3H
Samsung SpinPoint MP2 HM161JJ (met het OS)
3x Seagate Barracude ST31500341AS (dataopslag)

[vargo]

Btw - afbeeldingen van de hardware:

en

[RedHead]

Kunio schreef op zondag 29 maart 2009 @ 19:23:
Ik ben momenteel aan het trachten een NAS te virtualiseren omdat ik wens zowel een HTPC als een NAS op een machine te draaien. Ik dacht oorspronkelijk aan ESXi maar dat wilde precies niet lukken.
<cut>

Misschien kan je even toelichten waarom het met ESX3i niet lukte? Daar ik ook zo iets van plan was.
Schijven als raw devices doorlinken en dan in een VM gebruiken voor NAS functionaliteit?

Helaas weet ik verder niks van Debian af, dus ik kan je niet helpen met de error's.

[Kunio]

RedHead: de setup bleef hangen bij het laden van USB drivers.

Maar ik denk dat ik om meteen van alle problemen af te raken gewoon linux erop ga gooien en in de plaats van Mediaportal XBMC voor linux gebruiken.

[ Voor 55% gewijzigd door Kunio op 30-03-2009 01:11 ]

[DaCoTa]

Volgens 4launch wordt de Chenbro ES34069 midden April weer leverbaar.

[fixma]

DaCoTa schreef op maandag 30 maart 2009 @ 16:11:
Volgens 4launch wordt de Chenbro ES34069 midden April weer leverbaar.

Heb de mijne maar geannuleerd... Geen vetrouwen in, komen maar in kleine partijen binnen dus ben maar van DIY NAS afgestapt. Nu maar een Qnap TS-219 genomen en bevalt super..

[Verwijderd]

He verdorie, ik heb bijna een jaar al geom_raid5 draaien op m'n NAS zonder problemen op 3 samsung spinpoints totdat er vorige week een schijf helaas de geest gaf. Meteen nieuwe HD besteld en ingebouwd, heb ik hem gisteren aan de array toegevoegd, ging ie alles re-verifyen. Nu is hij vanochtend eindelijk klaar maar lijkt het erop dat alle data toch verdwenen is? Wat ook raar is, is dat hij heel snel de melding ufs_dirbad geeft (kernel panic). Weet iemand wat er fout gegaan kan zijn en hoe ik het kan oplossen?

[vargo]

Verwijderd schreef op dinsdag 31 maart 2009 @ 10:58:
He verdorie, ik heb bijna een jaar al geom_raid5 draaien op m'n NAS zonder problemen op 3 samsung spinpoints totdat er vorige week een schijf helaas de geest gaf. Meteen nieuwe HD besteld en ingebouwd, heb ik hem gisteren aan de array toegevoegd, ging ie alles re-verifyen. Nu is hij vanochtend eindelijk klaar maar lijkt het erop dat alle data toch verdwenen is? Wat ook raar is, is dat hij heel snel de melding ufs_dirbad geeft (kernel panic). Weet iemand wat er fout gegaan kan zijn en hoe ik het kan oplossen?

Klinkt bekend: ik heb dezelfde problemen (array rebuild => UFS corrupt) gehad en moest uiteindelijk op mijn (niet helemaal up-to-date) backups terug vallen.

Oorzaak: geen idee.
Oplossing: je zou een fsck kunnen proberen. Misschien is het raadzaam wel eerst een dump te maken van je huidige array voor je correcties laat uitvoeren.

[Verwijderd]

vargo schreef op dinsdag 31 maart 2009 @ 12:05:
[...]

Klinkt bekend: ik heb dezelfde problemen (array rebuild => UFS corrupt) gehad en moest uiteindelijk op mijn (niet helemaal up-to-date) backups terug vallen.

Oorzaak: geen idee.
Oplossing: je zou een fsck kunnen proberen. Misschien is het raadzaam wel eerst een dump te maken van je huidige array voor je correcties laat uitvoeren.

De secondary GPT paritition table is blijkbaar corrupt. Je hebt het commando gpt recover maar hoe dat werkt icm een RAID 5 array... geen idee "gpt recover /dev/raid5/array" geeft een file not found error

[kalizec]

Als een raid-array niet 'beschikbaar' is dan bestaat de referentie in /dev ook niet. Dus eerst dat fixen. Ook even kijken natuurlijk of je niet toevallig refereert naar een verkeerde naam.

Hoe heet je raid-array in fstab?

[Verwijderd]

kalizec schreef op dinsdag 31 maart 2009 @ 21:48:
Als een raid-array niet 'beschikbaar' is dan bestaat de referentie in /dev ook niet. Dus eerst dat fixen. Ook even kijken natuurlijk of je niet toevallig refereert naar een verkeerde naam.

Hoe heet je raid-array in fstab?

Het probleem lag anders ik heb nog een Hardware RAID 1 array waar de secondary GPT table not found melding op sloeg.

De device node bestaat wel en ik kan deze ook mounten. "df -h" geeft dan de juist Free/Used space aan, maar een directory listing (ls) geeft 0 bestanden. Het was me intussen gelukt om de "gpt recover" functie aan te roepen. Het probleem was dat de device node nog gemount was.
Intussen heb ik geprobeerd om fsck te draaien, dat wilde hij niet. De foutmelding die ik kreeg was BAD SUPER BLOCK: VALUES IN SUPER BLOCK DISAGREE WITH THOSE IN FIRST ALTERNATE.
Vervolgens heb ik met newfs -N /dev/raid5/array enkele superblocks geprobeerd, de enige superblock onder de 512 was 160.
Helaas gaf "fsck_ufs -b 160 /dev/raid5/array" de melding dat dit geen filesystem super block was. Dit heb ik overigens in de single-user modus van FreeBSD gedaan.
Wat ik intussen ook heb gedaan, en waar ik denk waar het fout is gelopen is de tweede keer verifyen stoppen met behulp van het commando "graid5 configure -R array".
Nu heb ik in de freebsd mailinglists een tooltje tegengekomen "scan_ffs" (staat in de FreeBSD Ports Tree) die disklabels kan recoveren. Daarnaast zou deze nog een hoop andere nuttige informatie geven dus ben benieuwd

[Q]

vargo schreef op zondag 29 maart 2009 @ 18:40:
Vandaag indelijk weer eens bezig met mijn NAS. Onder FreeBSD 6.3 icm Geom Raid 5 blijf ik tegen problemen aanlopen (raid array dat wegvalt / corruptie).

Zijn er nog mensen met andere suggesties?
Iemand ervaring met bovenstaande configs? M.n. FreeBSD+ZFS / OpenSolaris+ZFS zou mooi zijn...

Een nas moet in de eerste plaats betrouwbaar zijn. Wegvallen en corruptie is uit den boze. Wat mij betreft sluit je daarmee FreeNAS en ZFS gewoon uit. Dat is techniek die gewoon nog niet mature is. Misschien is ZFS mature op open solaris. FreeBSD loopt helaas vaak achter met hardware support. Maar waarom wil je dat soort "exotische" software gebruiken?

Ga je echt meer storage dan 8 TB bouwen? Of anders?

Een Debian Linux NAS met software RAID 5 of 6 heb je aan de praat in minder dan een uurtje. Als Debian je hardware niet ondersteund dan zou mij dat enorm vebazen. De howto's zijn er in overvloed en het opzetten van een RAID 5 is slechts het partitioneren van de disks en 1 MDADM commando. Samba oid er op en klaar.

Neem geen risico's met je NAS en speel op veilig, als je het mij vraagt.

[ Voor 6% gewijzigd door Q op 31-03-2009 23:31 ]

[kalizec]

Q schreef op dinsdag 31 maart 2009 @ 23:28:
Misschien is ZFS mature op open solaris. FreeBSD loopt helaas vaak achter met hardware support. Maar waarom wil je dat soort "exotische" software gebruiken?

Ik ben het met je eens dat FreeBSD vaak achter loopt met hardware support (al gaat dat in mindere mate ook zeker op voor Linux), maar om FreeBSD dan ook meteen 'exotisch' te noemen gaat me echt even te ver. Misschien moet je je eens verdiepen in de geschiedenis van FreeBSD en waar de code (en die bepaald de maturity vs bugs) al zoal in gebruikt is.

[Q]

kalizec schreef op woensdag 01 april 2009 @ 00:02:
[...]


Ik ben het met je eens dat FreeBSD vaak achter loopt met hardware support (al gaat dat in mindere mate ook zeker op voor Linux), maar om FreeBSD dan ook meteen 'exotisch' te noemen gaat me echt even te ver. Misschien moet je je eens verdiepen in de geschiedenis van FreeBSD en waar de code (en die bepaald de maturity vs bugs) al zoal in gebruikt is.

Ik ben goed bekend met het hele BSD verhaal, en durf FreeBSD met recht exotisch te noemen. Maar laten we geen 3e OS oorlog starten. Als je geen ZFS gaat doen op FreeBSD lijkt ook dat mij een stabiel platform voor een NAS. Natuurlijk kan ik het niet laten om dan te gaan ranten over gebruiksvriendelijkheid , maar tja, dan begin ik weer

Ik tik dit wel op een commerciële BSD derivaat

[ Voor 24% gewijzigd door Q op 01-04-2009 00:22 ]

[Verwijderd]

Verwijderd schreef op dinsdag 31 maart 2009 @ 22:05:
[...]


Het probleem lag anders ik heb nog een Hardware RAID 1 array waar de secondary GPT table not found melding op sloeg.

De device node bestaat wel en ik kan deze ook mounten. "df -h" geeft dan de juist Free/Used space aan, maar een directory listing (ls) geeft 0 bestanden. Het was me intussen gelukt om de "gpt recover" functie aan te roepen. Het probleem was dat de device node nog gemount was.
Intussen heb ik geprobeerd om fsck te draaien, dat wilde hij niet. De foutmelding die ik kreeg was BAD SUPER BLOCK: VALUES IN SUPER BLOCK DISAGREE WITH THOSE IN FIRST ALTERNATE.
Vervolgens heb ik met newfs -N /dev/raid5/array enkele superblocks geprobeerd, de enige superblock onder de 512 was 160.
Helaas gaf "fsck_ufs -b 160 /dev/raid5/array" de melding dat dit geen filesystem super block was. Dit heb ik overigens in de single-user modus van FreeBSD gedaan.
Wat ik intussen ook heb gedaan, en waar ik denk waar het fout is gelopen is de tweede keer verifyen stoppen met behulp van het commando "graid5 configure -R array".
Nu heb ik in de freebsd mailinglists een tooltje tegengekomen "scan_ffs" (staat in de FreeBSD Ports Tree) die disklabels kan recoveren. Daarnaast zou deze nog een hoop andere nuttige informatie geven dus ben benieuwd

Ik begin het zo langzamerhand een beetje op te geven, scan_ffs gaf geen resultaten maar ook de tool [url=http://www.freshports.org/sysutils/ffs2recov/[/url] ffs2recov heeft enkele bestanden in een mapje gezet waarvan ik niet helemaal weet wat ik ermee moet (veel bestanden van dezelfde grootte...)

[Zware Unit]

Gisteren eindelijk een nieuwe stroommeter ontvangen, zodat ik het gebruik van mijn nieuwe NAS kon meten. Dit is de huidige config:

#	Product	Prijs	Subtotaal
1	AMD Athlon X2 5050e	€ 54,34	€ 54,34
1	Cooler Master Centurion 590 Zwart	€ 60,39	€ 60,39
1	Gigabyte GA-MA74GM-S2H	€ 50,74	€ 50,74
1	Kingston ValueRAM KVR800D2N5K2/4G	€ 32,99	€ 32,99
1	Seasonic M12-II 430W	€ 93,-	€ 93,-
1	Western Digital Scorpio Black WD1600BEKT	€ 50,41	€ 50,41
Importeren		Totaal	€ 341,87

Totaal gebruik wanneer iddle is ongeveer 41 Watt. Bij volledige load (processor 100%) is het bijna 80 Watt. Er staan echter 3 disken in bestellen, dus het totale gebruik gaat nog omhoog. Bij normaal gebruik als NAS / Download station komt het gebruik niet boven de 43 Watt. Zelf had ik gehoopt dat het iddle gebruik tussen de 30 en 40 Watt lag, maar nog steeds is de 41 Watt een besparing van 85% ten opzichte van mijn Mac Pro (280 Watt iddle ).

Ben erg tevreden over deze setup. Draai FreeBSD en dit werkt stabiel, het is overzichtelijk, door mijn Unix/Linux ervaring is de drempel niet te hoog en de beschikbare packages zijn goed. Echt een aanrader.

[ Voor 11% gewijzigd door Zware Unit op 01-04-2009 13:01 ]

[Q]

Zware Unit schreef op woensdag 01 april 2009 @ 12:53:

Ben erg tevreden over deze setup. Draai FreeBSD en dit werkt stabiel, het is overzichtelijk, door mijn Unix/Linux ervaring is de drempel niet te hoog en de beschikbare packages zijn goed. Echt een aanrader.

Misschien dat wakeonlan nog wat is: zet 'm gewoon uit als je 'm niet gebruikt en wek 'm even met wakeonlan aan.

Dat ding van mij doet 170 watt* met 10 disks dus die zet ik dan uit als ik 'm niet gebruik. Anders is het te duur.

• 24 watt wordt door ups gebruikt.

[ Voor 14% gewijzigd door Q op 01-04-2009 18:57 ]

[WoRsTeNBoY]

Q: kan je je schijven niet aanpassen met hdparm oid zodat ze downspinnen als ze een tijdje niet gebruikt worden ?

[Q]

WoRsTeNBoY schreef op donderdag 02 april 2009 @ 21:59:
Q: kan je je schijven niet aanpassen met hdparm oid zodat ze downspinnen als ze een tijdje niet gebruikt worden ?

Dat kan zeker. Maar dan verstookt hij nog 80-100 wat en dan zet ik 'm evengoed liever uit als ik 'm niet nodig heb, want dat is nog redelijk veel.

[Dieter]

Vraagje : ik draai freenas in een esxi omgeving. Nu wil ik USB drives er aan hangen om storage op de NAS uit te breiden.

De vraag is : gaat dit wel lukken met Freenas en daarenboven op esx ?

[MadDog11]

Dieter schreef op maandag 06 april 2009 @ 16:13:
Vraagje : ik draai freenas in een esxi omgeving. Nu wil ik USB drives er aan hangen om storage op de NAS uit te breiden.

De vraag is : gaat dit wel lukken met Freenas en daarenboven op esx ?

USB-disks worden gewoon ondersteund door FreeNAS, je kun de USB-disks gewoon sharen etc, net als een standaard IDE- of Sata-schijf, De USB-schijven kunnen wel trager zijn
Op het esx gedeelte van de vraag moet ik het antwoord schuldig blijven.

[Marcj]

vargo schreef op zondag 29 maart 2009 @ 18:40:
Vandaag indelijk weer eens bezig met mijn NAS. Onder FreeBSD 6.3 icm Geom Raid 5 blijf ik tegen problemen aanlopen (raid array dat wegvalt / corruptie).

Er moet dus iets veranderen. Opties welke ik overweeg:
...

Zijn er nog mensen met andere suggesties?
Iemand ervaring met bovenstaande configs? M.n. FreeBSD+ZFS / OpenSolaris+ZFS zou mooi zijn...

Met deze afweging zit ik op het moment ook. Ik heb op het moment FreeBSD 7.1 + ZFS draaien, maar nu is vannacht alles gecrashed en is zelfs mijn ZFS pool helemaal verdwenen . Nu was dit gelukkig een test-run, maar ik twijfel nu toch echt even aan ZFS onder FreeBSD.

Misschien dat ik dit weekend een ga proberen om Solaris te installeren. Ik vond dit artikel wel interessante informatie geven over Solaris Express + ZFS op een home fileserver.

[ Voor 47% gewijzigd door Marcj op 06-04-2009 22:51 ]

[Demo]

Mijn RAID-array is om zeep en nou kreeg ik via een ander forum dit stukje leesvoer voor mijn neus.. Wat ik daar lees verbaast me niet echt, maar je schrikt er toch van.

[vargo]

Marcj schreef op maandag 06 april 2009 @ 22:51:
[...]


Met deze afweging zit ik op het moment ook. Ik heb op het moment FreeBSD 7.1 + ZFS draaien, maar nu is vannacht alles gecrashed en is zelfs mijn ZFS pool helemaal verdwenen . Nu was dit gelukkig een test-run, maar ik twijfel nu toch echt even aan ZFS onder FreeBSD.

Misschien dat ik dit weekend een ga proberen om Solaris te installeren. Ik vond dit artikel wel interessante informatie geven over Solaris Express + ZFS op een home fileserver.

Naar ik begrijp zijn er 3 solaris varianten waaronder ZFS wordt aangeboden:
- Open Solaris
- Solaris Express Community Edition
- Sun Solaris
Wat nu de voor- en nadelen zijn tussen deze releases is me nog niet duidelijk. Idem welke de beste ZFS support heeft.

Solaris Express Community Edition is Sun's binary release for OpenSolaris developers (code named "Nevada"). It is built from the latest OpenSolaris source and additional technology that has not been published in the OpenSolaris source base. This release is unsupported. Developers can build the OpenSolaris source by using this release as the base system. It is usually updated every other Friday and its release is announced on the OpenSolaris announce forum.

Klinkt als snapshot releases.

[remmelt]

Demoniac schreef op maandag 06 april 2009 @ 23:59:
Mijn RAID-array is om zeep en nou kreeg ik via een ander forum dit stukje leesvoer voor mijn neus.. Wat ik daar lees verbaast me niet echt, maar je schrikt er toch van.

Kan je uitleggen wat er is gebeurd?

Hier: http://www.baarf.com/ raden ze RAID10 aan. Dat kost mij toch net wat teveel schijfruimte. Nu ben ik in dubio!

[Verwijderd]

Demoniac schreef op maandag 06 april 2009 @ 23:59:
Mijn RAID-array is om zeep en nou kreeg ik via een ander forum dit stukje leesvoer voor mijn neus.. Wat ik daar lees verbaast me niet echt, maar je schrikt er toch van.

Hoezo? Daar staat gewoon dat straks de 2TB disks te groot zijn om zijn raid array te herbouwen.

In the future, though, you will require RAID 6 to protect against single disk failures + the inevitable URE and so, effectively, RAID 6 in a few years will give you no more protection than RAID 5 does today. This isn’t RAID 6’s fault. Instead it is due to the increasing capacity of disks and their steady URE rate. RAID 5 won’t work at all, and, instead, RAID 6 will replace RAID 5.

[ Voor 40% gewijzigd door Verwijderd op 07-04-2009 10:34 ]

[P5ycho]

Ze gaan er daar vanuit dat elke unrecoverable read error precies gebeurt binnen de door de fabrikant gestelde termijn. Het kan natuurlijk ook best zijn dat in 1 seek 2 unrecoverable errors ontstaan, en daarna de komende 200TB reads niet. Het is een groot kansenspel natuurlijk. Dan nog, is het niet zo dat 1 unrecoverable read error tijdens het rebuilden gewoon door de 2de parity van raid6 opgevangen kan worden? Dan kunnen we nog wel even vooruit imho.
Raid6 is alleen leuk met een disk of 6 imho.

[Demo]

P5ycho schreef op dinsdag 07 april 2009 @ 11:35:
Ze gaan er daar vanuit dat elke unrecoverable read error precies gebeurt binnen de door de fabrikant gestelde termijn. Het kan natuurlijk ook best zijn dat in 1 seek 2 unrecoverable errors ontstaan, en daarna de komende 200TB reads niet. Het is een groot kansenspel natuurlijk. Dan nog, is het niet zo dat 1 unrecoverable read error tijdens het rebuilden gewoon door de 2de parity van raid6 opgevangen kan worden? Dan kunnen we nog wel even vooruit imho.
Raid6 is alleen leuk met een disk of 6 imho.

Dat vroeg ik me dus ook af, ze roepen daar wel dat RAID6 net zo onveilig is als RAID5, maar het hoe en waarom begrijp ik niet helemaal. "any drive failure will always be accompanied by a read error" - die read error wordt dan toch inderdaad opgevangen door de extra pariteit van RAID6?
Ik gok het er voorlopig nog op, RAID5 is geen backup, maar dit verhaal gaat nogal van het meest negatieve uit. En als de bliksem inslaat loop je ook kans om je hele array ineens kwijt te raken, dat hou ik altijd maar in mijn achterhoofd.

[Marcj]

vargo schreef op dinsdag 07 april 2009 @ 08:51:
[...]

Naar ik begrijp zijn er 3 solaris varianten waaronder ZFS wordt aangeboden:
- Open Solaris
- Solaris Express Community Edition
- Sun Solaris
Wat nu de voor- en nadelen zijn tussen deze releases is me nog niet duidelijk. Idem welke de beste ZFS support heeft.


[...]

Klinkt als snapshot releases.

Er is ook nog een vierde: Solaris Express Developer Edition, dit is de snapshot release van Solaris 10, welke elke maand met een nieuwe versie uitkomt.

De Solaris Express Community Edition is een snapshot release van OpenSolaris, welke elke 2 weken uitkomt.

Vervolgens is OpenSolaris de 'open' variant van Solaris, waarbij volgens mij het grootste verschil is dat je bij Solaris (ook de DE) veel support kunt krijgen, waar dit bij OpenSolaris volledig uit de community moet komen.

Ik denk dat ik OpenSolaris eerst eens ga uitproberen.

[P5ycho]

Demoniac schreef op dinsdag 07 april 2009 @ 11:57:
[...]
Dat vroeg ik me dus ook af, ze roepen daar wel dat RAID6 net zo onveilig is als RAID5, maar het hoe en waarom begrijp ik niet helemaal. "any drive failure will always be accompanied by a read error" - die read error wordt dan toch inderdaad opgevangen door de extra pariteit van RAID6?
Ik gok het er voorlopig nog op, RAID5 is geen backup, maar dit verhaal gaat nogal van het meest negatieve uit. En als de bliksem inslaat loop je ook kans om je hele array ineens kwijt te raken, dat hou ik altijd maar in mijn achterhoofd.

Als je schijven van dezelfde batch hebt, is de kans altijd groot dat als 1 schijf de pijp aan Maarten geeft, de rest ook binnenkort meegaat. Door de extra belasting van het rebuilden kan de rest van je array er ook best de brui aan geven.

Tegen de tijd dat dit echt een grootschalig probleem wordt zitten we al lang allemaal met ZFS of BTRFS te werken ofzo.

[DaCoTa]

Demoniac schreef op dinsdag 07 april 2009 @ 11:57:
[...]
Dat vroeg ik me dus ook af, ze roepen daar wel dat RAID6 net zo onveilig is als RAID5, maar het hoe en waarom begrijp ik niet helemaal. "any drive failure will always be accompanied by a read error" - die read error wordt dan toch inderdaad opgevangen door de extra pariteit van RAID6?

Dat klopt, maar dat is alleen maar uitstel. Als je een jaar verder kijkt zijn de schijven weer groter en dan is de kans op een tweede URE al zoveel toegenomen dat het falen van een RAID6 rebuild steeds dichterbij komt.

Let wel, dat verhaal praat over een 12TB array, iets dat voor de 2009 huis-tuin-en-keuken gebruiker erg veel is. De kans op een URE bij een 'gemiddelde' array van zeg, 4*1TB, is natuurlijk een stuk lager, maar die kans is er. En langzaamaan groeien de array sizes.

[remmelt]

Nou, het punt wat wordt gemaakt in dat artikel is dat je met de huidige schijfgroottes statistisch een hele hoge kans hebt op een read error op een andere schijf wanneer je een rebuild moet doen. Die read errors zijn niet te recoveren en daarmee verlies je dus data, terwijl je je veilig waande door die RAID5. RAID6 verlegd deze kans door dubbele redundantie, bij een read error op de ene schijf kan er altijd nog van een andere gelezen worden.

Het gaat er uiteindelijk wel om hoe belangrijk je data is en hoe RAID daar specifiek bij kan helpen. RAID is een leuke eerste backup lijn, maar je zal je belangrijke data toch nog ergens off-site moeten zetten.

edit:

DaCoTa schreef op dinsdag 07 april 2009 @ 13:05:
[...]

Dat klopt, maar dat is alleen maar uitstel. Als je een jaar verder kijkt zijn de schijven weer groter en dan is de kans op een tweede URE al zoveel toegenomen dat het falen van een RAID6 rebuild steeds dichterbij komt.

Pas op: statistisch gezien is de kans natuurlijk heel laag dat de read error van toepassing is op precies dezelfde data. Je hebt gelijk dat er bij stijgende GB's een steeds hogere kans op een read error komt, maar de kans is klein dat dat om precies dezelfde data gaat. Je hebt met RAID6 dus een vele malen hogere kans op een succesvolle rebuild, indien er niet nog een schijf helemaal de geest geeft.

[ Voor 36% gewijzigd door remmelt op 07-04-2009 13:09 ]

[P5ycho]

Moest er even over nadenken wat je precies bedoelde remmelt.
Zolang er nog redundantie bestaat kun je heel veel URE's opvangen omdat elke URE maar een rebuild van 1 "stripe" betekent, wat meestal meteen gerecoverd wordt.. zonder redundantie is de pret meteen voorbij, want geen redundantie.

[remmelt]

Ja, kijk:

We gaan er even van uit dat er maar 1 disk helemaal uitvalt en dat er op de andere disks een volgens de specs normaal aantal read errors zit. Laten we zeggen dat de read errors op 1% van het diskvolume zitten, lijkt me veel maar hypothetisch geval.

RAID5:
Schijf A heeft bestand 1
Schijf B heeft bestand 1 (redundant/stripe)
Schijf C heeft bestand 1 niet
Schijf A valt weg, bestand 1 moet nu gelezen worden van schijf B. Als er op dat bestand een read error is, faalt de rebuild omdat de "backup" niet gelezen kan worden. De kans hierop is 1%.

RAID6:
Schijf A heeft bestand 1
Schijf B heeft bestand 1 (redundant/stripe)
Schijf C heeft bestand 1 (redundant/stripe)
Schijf A valt weer weg. De rebuild zoekt naar bestand 1 op disk B en vindt die niet (kans is 1%). De kans dat hetzelfde bestand op disk C ook een read error oplevert is heel laag. Ik denk dat het 1% van 1% is, maar ik ben heel slecht in statistiek en kansberekening dus daar kan iemand me waarschijnlijk wel verbeteren.

[P5ycho]

Het is iets gecompliceerder dan jij het hierboven doet lijken, omdat RAID5 op blocklevel werkt worden er gewoon blokken bytes van een instelbare grootte verdeeld over N-1 schijven, daar de parity over berekend en deze op de laatste schijf geplaatst. Door de parity steeds op een andere disk te schrijven, wordt de load verdeeld over de schijven. Om het verhaal even compleet te maken.

[remmelt]

Ja, ik heb het heel erg versimpeld, maar dat is alleen maar omdat ik het zelf dan beter kan onthouden, niet om de boel hier naar een lager niveau te trekken

[YOYONL]

Even tussendoor ben nog steeds bezig om een nieuwe NAS bij elkaar te zoeken maar twijfel tussen schijfgrotes..

Wat is de beste keus? 500,750 of 1 TB?

[Dysmael]

Ik denk persoonlijk dat je het beste 1TB schijven kan pakken.
Qua prijs zitten die ongeveer het gunstigst en uitbreiden gaat beter.

[Q]

remmelt schreef op dinsdag 07 april 2009 @ 13:06:
Nou, het punt wat wordt gemaakt in dat artikel is dat je met de huidige schijfgroottes statistisch een hele hoge kans hebt op een read error op een andere schijf wanneer je een rebuild moet doen.
[...]

Je hebt met RAID6 dus een vele malen hogere kans op een succesvolle rebuild, indien er niet nog een schijf helemaal de geest geeft.

RAID6 is een beetje een stokpaardje van mij om genoemde redenen.

- Bij grotere arrays van 6-8+ disks is de kans op extra disk falen als er al 1 is overleden fors. Het zal je maar gebeuren dat tijdens de rebuild (RAID5) nog een disk klapt. RAID6 vangt dit nog op. De tussenvariant waarbij gebrek aan redundancy en read-errors tot gedeeltelijk dataverlies leidt wordt ook nog opgevangen.

- Door de zeer grote disk-capaciteit van de huidige disks, van 1 tot 2 TB, kost het rebuilden van een enkele disk veel tijd. Dus de periode waarin je exposed bent is relatief lang. Dus de kans op ellende is ook relatief groot. Combineer dat met een array van een disk of 6+ en vroeger of later gaat het fout.

Het artikel noemt nog een belangrijk extra punt. Bij veel en grote disks neemt de kans op een leesfout toe, zeker tijdens recovery, dus als 1 disk faalt en je effectief nog raid 5 draait moet je RAID5 op dat moment beschouwen als dat je niet meer redundant bent. Valt gedurende de rebuild nog een schijf uit dan is het kop of munt dat je een URE tegenkomt tijdens de rebuilt.

Mijn grote vraag is of de berekening van die URE echt klopt met genoemde impact. Want dan zou ik met de hoeveelheid data die ik regelmatig verzet makkelijk URE's tegen moeten komen, en daar geloof ik niets van dat ik die tegen kom.

[ Voor 25% gewijzigd door Q op 08-04-2009 00:51 ]

[Demo]

YOYONL schreef op dinsdag 07 april 2009 @ 19:40:
Even tussendoor ben nog steeds bezig om een nieuwe NAS bij elkaar te zoeken maar twijfel tussen schijfgrotes..

Wat is de beste keus? 500,750 of 1 TB?

Hoeveel ruimte heb je nodig? Inmiddels is de prijs per GB van 1.5TB schijven al aardig in de buurt van de 1TB schijven gekomen. En minder schijven betekent minder energie, minder lawaai, minder ruimte en minder kans dat er een ploft

[WoRsTeNBoY]

Uitgaand van de kennis dat bij een raid 5 je n-1 (bij raid 6 is dit n-2 dacht ik) disken aan space kan benutten,
verlies je percentueel minder schijfruimte bij een groter aantal disken..

energie en lawaai zouden enkel tijdens bedrijf moeten gebeuren...

en de kans dat een disk "ploft" lijkt me altijd evengroot, of ze nu deel uitmaakt van een array met 4 disken of met 10 ?

[remmelt]

Q schreef op woensdag 08 april 2009 @ 00:12:
RAID6 is een beetje een stokpaardje van mij om genoemde redenen.

Dat snap ik, maar zou je dat thuis dan ook inzetten? Kost toch weer een extra schijf. Ik wil juist m'n kast zo klein en koel en zuinig mogelijk houden, dan helpt een tweede redundante schijf niet mee.
Het gaat natuurlijk niet om de prijs. Achteraf is €90 voor een extra 1TB schijf niks vergeleken met de waarde van de data die door een crashende schijf verloren gaat.

Nog een vraag: als een rebuild op RAID 5 een URE tegenkomt, faalt dan de hele rebuild of alleen het block dat niet gelezen kan worden?

[Verwijderd]

WoRsTeNBoY schreef op woensdag 08 april 2009 @ 09:15:
Uitgaand van de kennis dat bij een raid 5 je n-1 (bij raid 6 is dit n-2 dacht ik) disken aan space kan benutten,
verlies je percentueel minder schijfruimte bij een groter aantal disken..

energie en lawaai zouden enkel tijdens bedrijf moeten gebeuren...

en de kans dat een disk "ploft" lijkt me altijd evengroot, of ze nu deel uitmaakt van een array met 4 disken of met 10 ?

De kans wel. Het probleem is dus dat het vaker gaat voor komen met 4 disken(kleine kans * groot aantal = een groot aantal voorkomens ). Persoonlijk zit ik juist meer te denken aan de multilevels. Raid 15 oid. Al denk ik dat raid 6 wat beter is kwa ruimte. Jammer dat Balus_C server er niet meer is. Die had het altijd heel duidelijk geschreven.

Hoe zit het met softwarematig? Kan Geom ook raid 6 bijvoorbeeld?

[ Voor 3% gewijzigd door Verwijderd op 08-04-2009 11:17 ]

[Demo]

WoRsTeNBoY schreef op woensdag 08 april 2009 @ 09:15:
en de kans dat een disk "ploft" lijkt me altijd evengroot, of ze nu deel uitmaakt van een array met 4 disken of met 10 ?

De kans dat disk 1 in je array ploft wordt niet groter nee, maar bij tien disken is de kans dat een willekeurige schijf ploft wel een stuk groter dan bij vier schijven.

[deCube]

Reinman, bedoel je dit: RAID FAQ?

[Verwijderd]

Ongeveer. Maar op zijn eigen server was het makkelijker te lezen dan in de FaQ hier vind ik.

[psy]

remmelt schreef op dinsdag 07 april 2009 @ 13:06:
Nou, het punt wat wordt gemaakt in dat artikel is dat je met de huidige schijfgroottes statistisch een hele hoge kans hebt op een read error op een andere schijf wanneer je een rebuild moet doen. Die read errors zijn niet te recoveren en daarmee verlies je dus data, terwijl je je veilig waande door die RAID5. RAID6 verlegd deze kans door dubbele redundantie, bij een read error op de ene schijf kan er altijd nog van een andere gelezen worden.

Het gaat er uiteindelijk wel om hoe belangrijk je data is en hoe RAID daar specifiek bij kan helpen. RAID is een leuke eerste backup lijn, maar je zal je belangrijke data toch nog ergens off-site moeten zetten.

edit:
[...]


Pas op: statistisch gezien is de kans natuurlijk heel laag dat de read error van toepassing is op precies dezelfde data. Je hebt gelijk dat er bij stijgende GB's een steeds hogere kans op een read error komt, maar de kans is klein dat dat om precies dezelfde data gaat. Je hebt met RAID6 dus een vele malen hogere kans op een succesvolle rebuild, indien er niet nog een schijf helemaal de geest geeft.

Heb dat artikel een tijdje geleden ook aandachtig gelezen. Echter wat hier niet genoemd wordt is het feit dat het artikel het heeft over schijven met:

(URE) of 10^14.

Tegenwoordig (het artikel is van 2007), is de URE van de meeste schijven inmiddels 10^15.
Dit maak wel veel uit...

Reads fail
SATA drives are commonly specified with an unrecoverable read error rate (URE) of 10^14. Which means that once every 100,000,000,000,000 bits, the disk will very politely tell you that, so sorry, but I really, truly can’t read that sector back to you.

One hundred trillion bits x10 is about 12 terabytes 120 terabytes.

we hebben dus weer wat ruimte

[ Voor 12% gewijzigd door psy op 08-04-2009 12:04 ]

[P5ycho]

dat is een gemiddelde, er is natuurlijk een net zo grote kans dat je toevallig binnen 1MB reads 2x een URE krijgt.

[Verwijderd]

Nee die kans is kleiner. 10^15*2=kans op 2x. Het is wel mogelijk hoor daar niet van.

[psy]

Natuurlij het blijven kansen, en misschien is het vanuit de fabrikant uit gezien pure marketing dat ze de URE inmiddels hebben aangepast, maar het artikel beschouwt die URE wel als een belangrijke waarde. Dan moet je dus wel rekening houden met die aangepaste URE om het artikel op hedendaagse waarde te schatten.

Ik ga maar weer eens backuppen

[YOYONL]

Demoniac schreef op woensdag 08 april 2009 @ 07:54:
[...]
Hoeveel ruimte heb je nodig? Inmiddels is de prijs per GB van 1.5TB schijven al aardig in de buurt van de 1TB schijven gekomen. En minder schijven betekent minder energie, minder lawaai, minder ruimte en minder kans dat er een ploft

nouja opzich lukt het tot nu toe met 5x 9 GB scsi schijven in raid 5
Maar nu ik daar ook programma's en bezig ben om het fotoarchief optezetten heb loopt ie best vlug vol..
Maar of ik echt de TB aan ga tikken aan data weet ik voorlopig niet...
Heb al nieuwe kast op het oog zie eerder in dit topic maar zit nu met de schijven in me maag...

[Q]

remmelt schreef op woensdag 08 april 2009 @ 11:11:
[...]


Dat snap ik, maar zou je dat thuis dan ook inzetten?

Jazeker. Met een 10 disk array is het risico wat mij betreft te groot dat er een 2e disk gaat tijdens een rebuild en dan heb je het URE verhaal nog. Maar dat laatste risico zie ik als kleiner.

Iets over mijn array (was 4 TB, is momenteel een 6 TB RAID 6).

http://louwrentius.blogsp...rray-of-mixed-drives.html

Hoe meer disks in je array, hoe meer kans op disk uitval. De kans dat die ene disk in je pc'tje uitvalt is 10x zo klein als de kans dat 1 disk in je 10 disk RAID array uitvalt.

Kost toch weer een extra schijf. Ik wil juist m'n kast zo klein en koel en zuinig mogelijk houden, dan helpt een tweede redundante schijf niet mee.
Het gaat natuurlijk niet om de prijs. Achteraf is €90 voor een extra 1TB schijf niks vergeleken met de waarde van de data die door een crashende schijf verloren gaat.

Nog een vraag: als een rebuild op RAID 5 een URE tegenkomt, faalt dan de hele rebuild of alleen het block dat niet gelezen kan worden?

Ik weet het echt niet. Iemand anders?

[ Voor 8% gewijzigd door Q op 08-04-2009 21:18 ]

[remmelt]

Q schreef op woensdag 08 april 2009 @ 21:17:
[...]

Hoe meer disks in je array, hoe meer kans op disk uitval. De kans dat die ene disk in je pc'tje uitvalt is 10x zo klein als de kans dat 1 disk in je 10 disk RAID array uitvalt.

Precies. Ik vermoed dus nu dat het misschien wel veel voordeliger is om een enkele grote schijf in te zetten, heel eventueel nog gemirrored, en het daar dan bij te laten. De meeste data die ik ga opslaan is toch niet echt heel onmisbaar. Mijn originele idee was om te beginnen met 3x1TB in RAID5 en dan later uit te breiden naar 4x1TB. Het URE verhaal heeft me nu aan het denken gezet. Ik vind RAID6 voor thuis too much, dan zou ik dus 4 schijven hebben voor 2TB, dan kan ik beter mirroren, eventueel 10 of 01.
Tja, de afweging tussen kosten en baten is wel listig. Misschien maak ik wel een encrypted en mirrored 500GB set voor de echt belangrijke dingen en een enkele 2TB schijf voor films, series en andere meuk. WD Green @ 500GB is ook maar 50 piek: pricewatch: Western Digital Caviar Green WD5000AACS, 500GB

[P5ycho]

Ik zou me niet te druk maken over het URE verhaal hoor.
Overigens draai ik al jaren gewoon raid1, 1TB heb ik genoeg aan. Kwestie van de verzamelwoede binnen de perken houden.

[Verwijderd]

Sja ze zeggen niet voor niets dat raid draaien geen backup is. Daarom staat belangrijke data hier op 2 disks en op een externe HD. Enige waar het nu dus niet tegen bestand is, dat is brand/waterschade.

[netvor]

Tegen dat laatste zou je je deels kunnen indekken door je externe backupschijf elders (bijv. op kantoor) te laten liggen en hem eens per week mee naar huis te nemen om de backup te syncen. Dat kost je niets (i.t.t. offsite backup via het net) en heeft als bijkomend voordeel dat je je data op je werk beschikbaar hebt, voor het geval je even iets ouds wil opzoeken of een muziekje wil luisteren.

[Ibidem]

remmelt schreef op donderdag 09 april 2009 @ 11:40:
[...]


Precies. Ik vermoed dus nu dat het misschien wel veel voordeliger is om een enkele grote schijf in te zetten, heel eventueel nog gemirrored, en het daar dan bij te laten. De meeste data die ik ga opslaan is toch niet echt heel onmisbaar. Mijn originele idee was om te beginnen met 3x1TB in RAID5 en dan later uit te breiden naar 4x1TB. Het URE verhaal heeft me nu aan het denken gezet. Ik vind RAID6 voor thuis too much, dan zou ik dus 4 schijven hebben voor 2TB, dan kan ik beter mirroren, eventueel 10 of 01.
Tja, de afweging tussen kosten en baten is wel listig. Misschien maak ik wel een encrypted en mirrored 500GB set voor de echt belangrijke dingen en een enkele 2TB schijf voor films, series en andere meuk. WD Green @ 500GB is ook maar 50 piek: pricewatch: Western Digital Caviar Green WD5000AACS, 500GB

Je steelt mijn idee een beetje Ik heb inmiddels een 4 poortige Highpoint 2310 RAID5 Controller aangeschaft voor 75 EUR. Daar komen dan 3 x 1TB in RAID5 aan te hangen en een 4de terzijnertijd. Daarnaast 2 x Samsung HD501LJ's die ik nog heb liggen in RAID1 via mijn moederbord.

Twijfel alleen tussen de ES.2 Enterprise drives van Seagate (absolute data zekerheid, 24x7 operation proof e.d.) of standaard WD10EADS drives. Samsung haar 1TB schijven gaan als bosjes dood, dus geen optie voor mij.