Het grote DIY RAID NAS topic deel 2

[WoRsTeNBoY]

@Quadropluxor
routertje spelen zou mijn toekomstige nas ook moeten gaan doen,
echter met 1 nic is dit toch goed te doen?

je kan immers aan 1 nic meerdere aliassen koppelen zodoende je nas met 1 ip in de range van je modem / internetgateway zit en met het andere ip in jouw thuisnetwerk?

Zeker als je keuze voor 2 nic's niet van snelheid uitgaat zou ik het zo oplossen,
zo hou je wat meer keuzeruimte over in moederbordland...

[remmelt]

Hmm, heb je daar wat documentatie over? Scheelt wel in snelheid natuurlijk, maar als het dan echt te ver gaat kun je altijd nog een nic bijplaatsen.

[WoRsTeNBoY]

zo op 123 vond ik net deze url http://www.cyberciti.biz/...as-to-a-network-card-nic/

als je op google zoekt naar linux network alias ofzo kom je wel wat tegen
zo kan je 1 nic laten luisteren op 2 subnets

routing tussen die 2 is een appart onderwerp wat ook niet zo moeilijk is (kwestie van commando "route add ...")

man ifconfig
man route

hopelijk wijs ik je een beetje de juiste richting uit

[Xiphalon]

Welke bordjes stoppen jullie in je Chenbro ES34069?

Ik zelf wil er een MSI IM-945GC
in zetten, heb ik al in bestelling, maar niemand weet of ze nog uitgeleverd gaan worden...

[fixma]

darkmage schreef op donderdag 19 maart 2009 @ 09:54:
Welke bordjes stoppen jullie in je Chenbro ES34069?

Ik zelf wil er een MSI IM-945GC
in zetten, heb ik al in bestelling, maar niemand weet of ze nog uitgeleverd gaan worden...

Heb redelijk rond gekeken en de Jetway NC62K is het meest gebruikt voor dit kastje. Voor mij doel is het ook mijn keuze..

[pelican]

darkmage schreef op donderdag 19 maart 2009 @ 09:54:
Welke bordjes stoppen jullie in je Chenbro ES34069?

Ik zelf wil er een MSI IM-945GC
in zetten, heb ik al in bestelling, maar niemand weet of ze nog uitgeleverd gaan worden...

Heb er de IM-945gse in zitten,
met een extra pci kaartje voor 2 extra sata poorten (4 dus in totaal).

[vso]

Zo ik draai freebsd 6.3 NAS met de fbsd howto hier op got

SAMBA3 is/was alleen een B*tch om aan de praat te krijgen, ter info draai win2k3 in native mode
en ik weiger om windowsdozen aan te passen, het moest en zou kunnen. (en het kan)

O voor mensen die me willen volgen, krb5, openldap-client, ntp pam(modules) installeren VOOR samba installatie !!
NTP mag maar 5 min out of sync lopen met de windows DC anders gaat het FOUT !
(dit geld voor server <--> server communicatie en server <---> client !! )

2 probs die ik tegenkwam met samba
* smbclient kon niet op de fbsdbak, en desktop (bakA) connecten maar wel met DC
* /var/log/samba/log.<ipadress-bakA> was er wel maar /var/log/samba/log.<hostname-bakA> werd niet aangemaakt .. een touch van de laatste en "het werkte" voor de desktop en fbsdbak (wierd )

goed nu is me wins(server) aan het ijlen maar dat kan ook komen omdat ik mijn win2k3 server VMconverted heb naar een vmworkstation (straks omzetten of nieuwe bouwen op esxi server)
wins op de sambaserver werkt ook niet goed

meer samba issues
* poort 445 op fbsd werkt niet ?
* bind(en) aan em0(nic) laat het errors regen via logs 1 of andere reden ook nog communicatie met localhost en connecties gaan altijd eerst via localhost
* getent group/passwd samen pam.d authenticatie op je bsd server is nog vak apart
* samba kan geen cifs of nt1 login ?
* nu zit ik nog met een login passwd prompt op de windows clients (moet weg)
* wins niet via dns ? oftewel browsen in de netwerk omgeving binnen windows is een ramp


iscsi(grote disks) en PXE (floppydisk)
veel mensen weten het niet maar met PXE kan je bijna elk systeem booten met een floppydisk image kost wat werk om je windows/ander os installatie daarvan te laten booten en automagisch te laten installeren maar het kan. (ook handig voor rescue tools)
maar met ISCSI kan je je interne disk vergeten en dus direct vanaf je NAS draaien (ook met nfs ?)
handig voor snel ff een ander systeem optuigen ..


goed terug naar freebsd, tunen van de tcp ip (systcl -a net.inet) kan performance boost opleveren
o en mijn backup script (/backup = een usbstick voor zeer belangrijke data)

code:

#!/bin/sh

cp /etc/exports /backup/fbsdnas/etc/exports
cp /usr/local/etc/smb.conf /backup/fbsdnas/usr/local/etc/smb.conf
cp /etc/resolv.conf /backup/fbsdnas/etc/resolv.conf
cp /etc/rc.conf /backup/fbsdnas/etc/rc.conf
cp /etc/krb5.conf /backup/fbsdnas/etc/krb5.conf
cp /etc/fstab /backup/fbsdnas/etc/fstab
cp /etc/nsswitch.conf /backup/fbsdnas/etc/nsswitch.conf
cp /etc/ldap.conf /backup/fbsdnas/etc/ldap.conf
cp /etc/ntp.conf /backup/fbsdnas/etc/ntp.conf
cp /etc/ntp.drift /backup/fbsdnas/etc/ntp.drift
cp /etc/pam.d/nsswitch /backup/fbsdnas/etc/pam.d/nsswitch
cp /etc/pam.d/login /backup/fbsdnas/etc/pam.d/login
cp /etc/pam.d/sshd /backup/fbsdnas/etc/pam.d/sshd
cp /etc/inetd.conf /backup/fbsdnas/etc/inetd.conf
cp /etc/iscsi/targets /backup/fbsdnas/etc/iscsi/targets
cp /etc/hosts /backup/fbsdnas/etc/hosts
cp /usr/local/etc/iscsi/targets /backup/fbsdnas/usr/local/etc/iscsi/targets

zeer handig om die belangrijke meuk te backuppen

oww weet iemand een tool om je software op je nas te scannen voor virussen ? (liefst gratis) wel handig als je een redelijk grote repository hebt van software

[ Voor 3% gewijzigd door vso op 20-03-2009 05:56 . Reden: virusscanner vraag ]

[WoRsTeNBoY]

amavis

[P5ycho]

amavis is een mailscanner. fail.

sommige downlaodtools hebben de optie om een externe tool te starten als de download klaar is, je zou dan bijv. ClamAV er overheen kunnen halen.
Samba heeft een plugin/extension voor virusscans, en evt. kan een wekelijks cronscript nog een dirty solution wezen.

[ Voor 80% gewijzigd door P5ycho op 20-03-2009 09:29 ]

[WoRsTeNBoY]

inderdaad, waarschijnlijk omdat ik de combinatie clamav + amavis gebruik
dat amavis als enigste keyword naar boven kwam.

om dan ineens met "fail" af te komen lijkt me toch wel een zeer arrogante opmerking!
(zeker omdat amavis als keyword je snel naar een hoop av-scanners voor linux gidst)

[P5ycho]

"fail" is hier thuis en onder vrienden een stopwoordje geworden, dat zonder emoticon nogal verkeerd overkomt inderdaad. Mijn excuses bij deze.

[Verwijderd]

ik was in de start topic aan het kijken voor wat freeNAS en freeBSD aan chipsets ondersteunen.
en ik was aan het kijke of dit bordje ondersteund werdt:

pricewatch: Asus M2N68-AM

maar de nieuwste versie die ik in freeBSD tegen kwam was nForce4, vroeg me af ik nu gewoon blind was en en geen nieuwere versies kon vinde in de lijst want een nForce 4 is toch redelijk antiek?

edit: of ben ik net zo goed af een bord met andere chipset te nemen en dan geheel software matig via freeNAS raid 5 opstelling te maken? (lijkt me wel wat trager aangezien de chipset toch wel een deel de cpu ontlast)

[ Voor 19% gewijzigd door Verwijderd op 23-03-2009 23:57 ]

[Mafketel]

Sun heeft een "nieuwe" storage oplossing uitgebracht op basis van hun bestaande x86 lijn. Wat wel leuk is om te kijken wat voor performance je nodig hebt en welke hardware daarbij hoort. Overigens kan ik niet zo gauw vinden wat de hardware verschillen zijn tussen de server en storage versies. En de gebruikte software lijkt alleen op de hardware meegeleverd te worden en ook hier vraag ik mij af wat het verschil is met de standaard solaris/opensolaris install mogelijkheden.
Met nog wat meer neuzen zag ik dit voorbij komen http://pulsaros.digitalplayground.at/ Pulsaros een project wat freenas wil benaderen alleen dan met opensolaris. [disclaimer]VERY ALPHA[/disclaimer]

[ericafterdark]

Ik begin een beetje te twijfelen, misschien geen mini itx en Chenbro kastje maar een volwaardige computer met Ubuntu Server oid. Dit zodat hij makkelijker is uit te breiden en ik hem meer als computer kan gebruiken. Zucht Andere kast zoeken, ander moederbord en vooral zuinig.

[WoRsTeNBoY]

Verwijderd schreef op maandag 23 maart 2009 @ 23:26:
of ben ik net zo goed af een bord met andere chipset te nemen en dan geheel software matig via freeNAS raid 5 opstelling te maken? (lijkt me wel wat trager aangezien de chipset toch wel een deel de cpu ontlast)

hangt af van het doel van de uiteindelijke computer,
indien hij enkel als thuis-nas functioneert, dan is softwareraid zeker ok!

Ik vind softwareraid in dat geval beter dan HW-raid (als je HW controller stuk gaat moet je dezelfste controller kopen of een model dat aan die raidstructuur uit kan, zelfste merk dan ofzo..)
bij softwareraid kan je je schijven in een andere pc steken en de raid terug lezen (als die niet beschadigd is)

als je de dag van vandaag een vers mobo + passende cpu nieuw koopt, heb je al meer dan genoeg cpu power ter beschikking voor softwareraid @ home imho

[Verwijderd]

WoRsTeNBoY schreef op woensdag 25 maart 2009 @ 10:08:
Ik vind softwareraid in dat geval beter dan HW-raid (als je HW controller stuk gaat moet je dezelfste controller kopen of een model dat aan die raidstructuur uit kan, zelfste merk dan ofzo..)
bij softwareraid kan je je schijven in een andere pc steken en de raid terug lezen (als die niet beschadigd is)

I.d.d., in de RAID FAQ wordt software RAID ook aangeraden omdat het veel flexibeler is.

[Demo]

Verwijderd schreef op maandag 23 maart 2009 @ 23:26:
edit: of ben ik net zo goed af een bord met andere chipset te nemen en dan geheel software matig via freeNAS raid 5 opstelling te maken? (lijkt me wel wat trager aangezien de chipset toch wel een deel de cpu ontlast)

Chipsets van consumentenbordjes bevatten geen intelligentie die de CPU ontlast bij het gebruik van RAID5. Daar heb je een losse controller van bijvoorbeeld Areca voor nodig. Als ik me niet vergis, is de RAID5-implementatie van FreeBSD zelfs beter (sneller/efficiënter) dan de gemiddelde fakeraid in chipsets.

[Chielos]

Ik heb zelf ook een klein systeempje in elkaar gezet:

- VIA VB7002G (64 e bij picco)
- 2gb mem
- Aopen H420B
- 2x 1TB WD Green
- CF Reader
- 2 GB CF card

Voor net geen 300 euro, best netjes denk ik zo.

Freenas geinstalleerd (Raid 1), maar ik liep tegen een transfer rate van 400kb sec aan. Beetje raar, maar goed ik wilde wat dingetjes proberen dus geformateerd en OpenFiler geprobeerd. Werkte ook niet (kwam niet door de raid build heen). Daarna met Debian aan de slag gegaan en dat lukte meteen. Transfer rates ook goed.

Maar goed, ik was onder de indruk van de feature set van Freenas en de simpelheid er van, dus ik probeerde dit weer opnieuw te installeren. Even in de logging gekeken en ik kwam de melding "vr0 Watchdog Timeout" tegen. Beetje gegoogled en veel mensen zeggen dat het een netwerkkaart fout is en dat ik er een nieuwe in moeten zetten (net nieuw moederbord, vind ik een beetje raar, plus dat debian wel goed werkt).

Is er iemand in dit topic met een Epia bord die dit probleem ook heeft met Freenas/FreeBsd? Het is de VT6103L chipset.

Zijn er uberhaupt oplossingen voor het watchdog probleem?

[Verwijderd]

Chielos schreef op woensdag 25 maart 2009 @ 14:59:
Ik heb zelf ook een klein systeempje in elkaar gezet:

- VIA VB7002G (64 e bij picco)

Dat is een heel aardig bortje moet ik zeggen (tenminste voor die prijs).

- 2x DIMM slot
- Mini PCI
- Proc onboard en low energy use

Ideaal voor een simpel backup servertje.

[Chielos]

Wel een luidruchtig fannetje, zonder fancontrol.

Maar met een beetje knutselen is ie vast passief te maken

[vargo]

Vandaag indelijk weer eens bezig met mijn NAS. Onder FreeBSD 6.3 icm Geom Raid 5 blijf ik tegen problemen aanlopen (raid array dat wegvalt / corruptie).

Er moet dus iets veranderen. Opties welke ik overweeg:

OS / software Raid5	Pros	Cons
terug naar FreeNAS + Geom Raid5	Draait out-of-the-box / meeliften op updates	Stripped FreeBSD => Nog niet stable. Weinig flexibel / uitbreidbaar. Geen garantie stabiel? Performance tunen is lastiger onder FreeNAS.
FreeBSD 7.1 + Geom Raid5	Flexibel & maximale performance (bus = bottleneck). Bekend terrein.	Geen garantie dat Geom Raid5 problemen weg zijn. Beta Expansion script niet meer mogelijk.
FreeBSD 7.1 + ZFS	Flexibel. ZFS is op papier super	ZFS @ FreeBSD => nog veel issues. Tunen schijnt een must te zijn. Performance???
FreeBSD 8 + ZFS	ZFS implementatie schijnt veel dichter bij de Open Solaris implementatie te moeten liggen	FreeBSD R8 wordt verwacht 3rd quarter 09. Tot die tijd Snapshot releases.
Open Solaris + ZFS	Stabieler dan de FreeBSD implementatie. Altijd laatste ZFS implementatie mogelijk.	onbekend met open solaris. Wat nog meer mogelijk (e.g. samba)?
Linux (distro)+ ????	???	Weinig ervaring. Onbekend met software Raid5 implementaties.

Hardware:

• Sempron 2800+
• 2.5 GB geheugen
• 1x 60GB OS schijf
• 7x 500GB voor RAID5 / RAID-Z / RAID-Z2 array
• 1x 1000 GB voor backups

Nog wat interessante links:
ZFS @ FreeBSD stability
http://wiki.freebsd.org/ZFS
http://kerneltrap.org/FreeBSD/ZFS_Stability
ZFS @ Open Solaris tutorial
http://breden.org.uk/2008/03/02/a-home-fileserver-using-zfs/

Zijn er nog mensen met andere suggesties?
Iemand ervaring met bovenstaande configs? M.n. FreeBSD+ZFS / OpenSolaris+ZFS zou mooi zijn...

[Kunio]

Ik ben momenteel aan het trachten een NAS te virtualiseren omdat ik wens zowel een HTPC als een NAS op een machine te draaien. Ik dacht oorspronkelijk aan ESXi maar dat wilde precies niet lukken. Nu heb ik dus Windows XP Professional 32bit geïnstalleerd en er VMWare op gezet. Ik heb Debian 5 geïnstalleerd, die zo prima draait. Ik ben dan verder gegaan en 3x Seagate Barracuda ST31500341AS van 1.5TB aangesloten. In VMWare kies ik ervoor om fysische schijven te gebruiken i.p.v. virtuele. Echter na het opstarten van de VM gaat het verkeerd en staat het scherm bol van volgende foutmeldingen:

end_request: I/O error, dev hdx, sector -----
Buffer I/O error on device hdx, logical block ------

Als ik d.m.v. GParted (de livecd) de harde schijven formatteer als ext3 en zo dan fysische partities ingeef in VMWare krijg ik dezelfde foutmeldingen.

Geen probleem denk ik, ik maak er wel virtuele schijven van. Helaas lukt dat niet omdat er een limiet van 950GB per schijf op zit. Zou het een goed idee zijn om van elke harde schijf 2 virtuele te maken en daar een RAID 0 van te maken en die allemaal dan vervolgens in een RAID 5 te stoppen? Of heeft er iemand een idee hoe ik van bovenvermelde foutmelding afraak?

Het is zo dat ik een aparte notebook harde schijf heb met Windows en VMWare.

Dit zijn de specs:

AMD Phenom X4 9350e
2x 2GB DDR2 PC2-6400 RAM
Gigabyte GA-MA780G-UD3H
Samsung SpinPoint MP2 HM161JJ (met het OS)
3x Seagate Barracude ST31500341AS (dataopslag)

[vargo]

Btw - afbeeldingen van de hardware:

en

[RedHead]

Kunio schreef op zondag 29 maart 2009 @ 19:23:
Ik ben momenteel aan het trachten een NAS te virtualiseren omdat ik wens zowel een HTPC als een NAS op een machine te draaien. Ik dacht oorspronkelijk aan ESXi maar dat wilde precies niet lukken.
<cut>

Misschien kan je even toelichten waarom het met ESX3i niet lukte? Daar ik ook zo iets van plan was.
Schijven als raw devices doorlinken en dan in een VM gebruiken voor NAS functionaliteit?

Helaas weet ik verder niks van Debian af, dus ik kan je niet helpen met de error's.

[Kunio]

RedHead: de setup bleef hangen bij het laden van USB drivers.

Maar ik denk dat ik om meteen van alle problemen af te raken gewoon linux erop ga gooien en in de plaats van Mediaportal XBMC voor linux gebruiken.

[ Voor 55% gewijzigd door Kunio op 30-03-2009 01:11 ]

[DaCoTa]

Volgens 4launch wordt de Chenbro ES34069 midden April weer leverbaar.

[fixma]

DaCoTa schreef op maandag 30 maart 2009 @ 16:11:
Volgens 4launch wordt de Chenbro ES34069 midden April weer leverbaar.

Heb de mijne maar geannuleerd... Geen vetrouwen in, komen maar in kleine partijen binnen dus ben maar van DIY NAS afgestapt. Nu maar een Qnap TS-219 genomen en bevalt super..

[Verwijderd]

He verdorie, ik heb bijna een jaar al geom_raid5 draaien op m'n NAS zonder problemen op 3 samsung spinpoints totdat er vorige week een schijf helaas de geest gaf. Meteen nieuwe HD besteld en ingebouwd, heb ik hem gisteren aan de array toegevoegd, ging ie alles re-verifyen. Nu is hij vanochtend eindelijk klaar maar lijkt het erop dat alle data toch verdwenen is? Wat ook raar is, is dat hij heel snel de melding ufs_dirbad geeft (kernel panic). Weet iemand wat er fout gegaan kan zijn en hoe ik het kan oplossen?

[vargo]

Verwijderd schreef op dinsdag 31 maart 2009 @ 10:58:
He verdorie, ik heb bijna een jaar al geom_raid5 draaien op m'n NAS zonder problemen op 3 samsung spinpoints totdat er vorige week een schijf helaas de geest gaf. Meteen nieuwe HD besteld en ingebouwd, heb ik hem gisteren aan de array toegevoegd, ging ie alles re-verifyen. Nu is hij vanochtend eindelijk klaar maar lijkt het erop dat alle data toch verdwenen is? Wat ook raar is, is dat hij heel snel de melding ufs_dirbad geeft (kernel panic). Weet iemand wat er fout gegaan kan zijn en hoe ik het kan oplossen?

Klinkt bekend: ik heb dezelfde problemen (array rebuild => UFS corrupt) gehad en moest uiteindelijk op mijn (niet helemaal up-to-date) backups terug vallen.

Oorzaak: geen idee.
Oplossing: je zou een fsck kunnen proberen. Misschien is het raadzaam wel eerst een dump te maken van je huidige array voor je correcties laat uitvoeren.

[Verwijderd]

vargo schreef op dinsdag 31 maart 2009 @ 12:05:
[...]

Klinkt bekend: ik heb dezelfde problemen (array rebuild => UFS corrupt) gehad en moest uiteindelijk op mijn (niet helemaal up-to-date) backups terug vallen.

Oorzaak: geen idee.
Oplossing: je zou een fsck kunnen proberen. Misschien is het raadzaam wel eerst een dump te maken van je huidige array voor je correcties laat uitvoeren.

De secondary GPT paritition table is blijkbaar corrupt. Je hebt het commando gpt recover maar hoe dat werkt icm een RAID 5 array... geen idee "gpt recover /dev/raid5/array" geeft een file not found error

[kalizec]

Als een raid-array niet 'beschikbaar' is dan bestaat de referentie in /dev ook niet. Dus eerst dat fixen. Ook even kijken natuurlijk of je niet toevallig refereert naar een verkeerde naam.

Hoe heet je raid-array in fstab?

[Verwijderd]

kalizec schreef op dinsdag 31 maart 2009 @ 21:48:
Als een raid-array niet 'beschikbaar' is dan bestaat de referentie in /dev ook niet. Dus eerst dat fixen. Ook even kijken natuurlijk of je niet toevallig refereert naar een verkeerde naam.

Hoe heet je raid-array in fstab?

Het probleem lag anders ik heb nog een Hardware RAID 1 array waar de secondary GPT table not found melding op sloeg.

De device node bestaat wel en ik kan deze ook mounten. "df -h" geeft dan de juist Free/Used space aan, maar een directory listing (ls) geeft 0 bestanden. Het was me intussen gelukt om de "gpt recover" functie aan te roepen. Het probleem was dat de device node nog gemount was.
Intussen heb ik geprobeerd om fsck te draaien, dat wilde hij niet. De foutmelding die ik kreeg was BAD SUPER BLOCK: VALUES IN SUPER BLOCK DISAGREE WITH THOSE IN FIRST ALTERNATE.
Vervolgens heb ik met newfs -N /dev/raid5/array enkele superblocks geprobeerd, de enige superblock onder de 512 was 160.
Helaas gaf "fsck_ufs -b 160 /dev/raid5/array" de melding dat dit geen filesystem super block was. Dit heb ik overigens in de single-user modus van FreeBSD gedaan.
Wat ik intussen ook heb gedaan, en waar ik denk waar het fout is gelopen is de tweede keer verifyen stoppen met behulp van het commando "graid5 configure -R array".
Nu heb ik in de freebsd mailinglists een tooltje tegengekomen "scan_ffs" (staat in de FreeBSD Ports Tree) die disklabels kan recoveren. Daarnaast zou deze nog een hoop andere nuttige informatie geven dus ben benieuwd

[Q]

vargo schreef op zondag 29 maart 2009 @ 18:40:
Vandaag indelijk weer eens bezig met mijn NAS. Onder FreeBSD 6.3 icm Geom Raid 5 blijf ik tegen problemen aanlopen (raid array dat wegvalt / corruptie).

Zijn er nog mensen met andere suggesties?
Iemand ervaring met bovenstaande configs? M.n. FreeBSD+ZFS / OpenSolaris+ZFS zou mooi zijn...

Een nas moet in de eerste plaats betrouwbaar zijn. Wegvallen en corruptie is uit den boze. Wat mij betreft sluit je daarmee FreeNAS en ZFS gewoon uit. Dat is techniek die gewoon nog niet mature is. Misschien is ZFS mature op open solaris. FreeBSD loopt helaas vaak achter met hardware support. Maar waarom wil je dat soort "exotische" software gebruiken?

Ga je echt meer storage dan 8 TB bouwen? Of anders?

Een Debian Linux NAS met software RAID 5 of 6 heb je aan de praat in minder dan een uurtje. Als Debian je hardware niet ondersteund dan zou mij dat enorm vebazen. De howto's zijn er in overvloed en het opzetten van een RAID 5 is slechts het partitioneren van de disks en 1 MDADM commando. Samba oid er op en klaar.

Neem geen risico's met je NAS en speel op veilig, als je het mij vraagt.

[ Voor 6% gewijzigd door Q op 31-03-2009 23:31 ]

[kalizec]

Q schreef op dinsdag 31 maart 2009 @ 23:28:
Misschien is ZFS mature op open solaris. FreeBSD loopt helaas vaak achter met hardware support. Maar waarom wil je dat soort "exotische" software gebruiken?

Ik ben het met je eens dat FreeBSD vaak achter loopt met hardware support (al gaat dat in mindere mate ook zeker op voor Linux), maar om FreeBSD dan ook meteen 'exotisch' te noemen gaat me echt even te ver. Misschien moet je je eens verdiepen in de geschiedenis van FreeBSD en waar de code (en die bepaald de maturity vs bugs) al zoal in gebruikt is.

[Q]

kalizec schreef op woensdag 01 april 2009 @ 00:02:
[...]


Ik ben het met je eens dat FreeBSD vaak achter loopt met hardware support (al gaat dat in mindere mate ook zeker op voor Linux), maar om FreeBSD dan ook meteen 'exotisch' te noemen gaat me echt even te ver. Misschien moet je je eens verdiepen in de geschiedenis van FreeBSD en waar de code (en die bepaald de maturity vs bugs) al zoal in gebruikt is.

Ik ben goed bekend met het hele BSD verhaal, en durf FreeBSD met recht exotisch te noemen. Maar laten we geen 3e OS oorlog starten. Als je geen ZFS gaat doen op FreeBSD lijkt ook dat mij een stabiel platform voor een NAS. Natuurlijk kan ik het niet laten om dan te gaan ranten over gebruiksvriendelijkheid , maar tja, dan begin ik weer

Ik tik dit wel op een commerciële BSD derivaat

[ Voor 24% gewijzigd door Q op 01-04-2009 00:22 ]

[Verwijderd]

Verwijderd schreef op dinsdag 31 maart 2009 @ 22:05:
[...]


Het probleem lag anders ik heb nog een Hardware RAID 1 array waar de secondary GPT table not found melding op sloeg.

De device node bestaat wel en ik kan deze ook mounten. "df -h" geeft dan de juist Free/Used space aan, maar een directory listing (ls) geeft 0 bestanden. Het was me intussen gelukt om de "gpt recover" functie aan te roepen. Het probleem was dat de device node nog gemount was.
Intussen heb ik geprobeerd om fsck te draaien, dat wilde hij niet. De foutmelding die ik kreeg was BAD SUPER BLOCK: VALUES IN SUPER BLOCK DISAGREE WITH THOSE IN FIRST ALTERNATE.
Vervolgens heb ik met newfs -N /dev/raid5/array enkele superblocks geprobeerd, de enige superblock onder de 512 was 160.
Helaas gaf "fsck_ufs -b 160 /dev/raid5/array" de melding dat dit geen filesystem super block was. Dit heb ik overigens in de single-user modus van FreeBSD gedaan.
Wat ik intussen ook heb gedaan, en waar ik denk waar het fout is gelopen is de tweede keer verifyen stoppen met behulp van het commando "graid5 configure -R array".
Nu heb ik in de freebsd mailinglists een tooltje tegengekomen "scan_ffs" (staat in de FreeBSD Ports Tree) die disklabels kan recoveren. Daarnaast zou deze nog een hoop andere nuttige informatie geven dus ben benieuwd

Ik begin het zo langzamerhand een beetje op te geven, scan_ffs gaf geen resultaten maar ook de tool [url=http://www.freshports.org/sysutils/ffs2recov/[/url] ffs2recov heeft enkele bestanden in een mapje gezet waarvan ik niet helemaal weet wat ik ermee moet (veel bestanden van dezelfde grootte...)

[Zware Unit]

Gisteren eindelijk een nieuwe stroommeter ontvangen, zodat ik het gebruik van mijn nieuwe NAS kon meten. Dit is de huidige config:

#	Product	Prijs	Subtotaal
1	AMD Athlon X2 5050e	€ 54,34	€ 54,34
1	Cooler Master Centurion 590 Zwart	€ 60,39	€ 60,39
1	Gigabyte GA-MA74GM-S2H	€ 50,74	€ 50,74
1	Kingston ValueRAM KVR800D2N5K2/4G	€ 32,99	€ 32,99
1	Seasonic M12-II 430W	€ 93,-	€ 93,-
1	Western Digital Scorpio Black WD1600BEKT	€ 50,41	€ 50,41
Importeren		Totaal	€ 341,87

Totaal gebruik wanneer iddle is ongeveer 41 Watt. Bij volledige load (processor 100%) is het bijna 80 Watt. Er staan echter 3 disken in bestellen, dus het totale gebruik gaat nog omhoog. Bij normaal gebruik als NAS / Download station komt het gebruik niet boven de 43 Watt. Zelf had ik gehoopt dat het iddle gebruik tussen de 30 en 40 Watt lag, maar nog steeds is de 41 Watt een besparing van 85% ten opzichte van mijn Mac Pro (280 Watt iddle ).

Ben erg tevreden over deze setup. Draai FreeBSD en dit werkt stabiel, het is overzichtelijk, door mijn Unix/Linux ervaring is de drempel niet te hoog en de beschikbare packages zijn goed. Echt een aanrader.

[ Voor 11% gewijzigd door Zware Unit op 01-04-2009 13:01 ]

[Q]

Zware Unit schreef op woensdag 01 april 2009 @ 12:53:

Ben erg tevreden over deze setup. Draai FreeBSD en dit werkt stabiel, het is overzichtelijk, door mijn Unix/Linux ervaring is de drempel niet te hoog en de beschikbare packages zijn goed. Echt een aanrader.

Misschien dat wakeonlan nog wat is: zet 'm gewoon uit als je 'm niet gebruikt en wek 'm even met wakeonlan aan.

Dat ding van mij doet 170 watt* met 10 disks dus die zet ik dan uit als ik 'm niet gebruik. Anders is het te duur.

• 24 watt wordt door ups gebruikt.

[ Voor 14% gewijzigd door Q op 01-04-2009 18:57 ]

[WoRsTeNBoY]

Q: kan je je schijven niet aanpassen met hdparm oid zodat ze downspinnen als ze een tijdje niet gebruikt worden ?

[Q]

WoRsTeNBoY schreef op donderdag 02 april 2009 @ 21:59:
Q: kan je je schijven niet aanpassen met hdparm oid zodat ze downspinnen als ze een tijdje niet gebruikt worden ?

Dat kan zeker. Maar dan verstookt hij nog 80-100 wat en dan zet ik 'm evengoed liever uit als ik 'm niet nodig heb, want dat is nog redelijk veel.

[Dieter]

Vraagje : ik draai freenas in een esxi omgeving. Nu wil ik USB drives er aan hangen om storage op de NAS uit te breiden.

De vraag is : gaat dit wel lukken met Freenas en daarenboven op esx ?

[MadDog11]

Dieter schreef op maandag 06 april 2009 @ 16:13:
Vraagje : ik draai freenas in een esxi omgeving. Nu wil ik USB drives er aan hangen om storage op de NAS uit te breiden.

De vraag is : gaat dit wel lukken met Freenas en daarenboven op esx ?

USB-disks worden gewoon ondersteund door FreeNAS, je kun de USB-disks gewoon sharen etc, net als een standaard IDE- of Sata-schijf, De USB-schijven kunnen wel trager zijn
Op het esx gedeelte van de vraag moet ik het antwoord schuldig blijven.

[Marcj]

vargo schreef op zondag 29 maart 2009 @ 18:40:
Vandaag indelijk weer eens bezig met mijn NAS. Onder FreeBSD 6.3 icm Geom Raid 5 blijf ik tegen problemen aanlopen (raid array dat wegvalt / corruptie).

Er moet dus iets veranderen. Opties welke ik overweeg:
...

Zijn er nog mensen met andere suggesties?
Iemand ervaring met bovenstaande configs? M.n. FreeBSD+ZFS / OpenSolaris+ZFS zou mooi zijn...

Met deze afweging zit ik op het moment ook. Ik heb op het moment FreeBSD 7.1 + ZFS draaien, maar nu is vannacht alles gecrashed en is zelfs mijn ZFS pool helemaal verdwenen . Nu was dit gelukkig een test-run, maar ik twijfel nu toch echt even aan ZFS onder FreeBSD.

Misschien dat ik dit weekend een ga proberen om Solaris te installeren. Ik vond dit artikel wel interessante informatie geven over Solaris Express + ZFS op een home fileserver.

[ Voor 47% gewijzigd door Marcj op 06-04-2009 22:51 ]

[Demo]

Mijn RAID-array is om zeep en nou kreeg ik via een ander forum dit stukje leesvoer voor mijn neus.. Wat ik daar lees verbaast me niet echt, maar je schrikt er toch van.

[vargo]

Marcj schreef op maandag 06 april 2009 @ 22:51:
[...]


Met deze afweging zit ik op het moment ook. Ik heb op het moment FreeBSD 7.1 + ZFS draaien, maar nu is vannacht alles gecrashed en is zelfs mijn ZFS pool helemaal verdwenen . Nu was dit gelukkig een test-run, maar ik twijfel nu toch echt even aan ZFS onder FreeBSD.

Misschien dat ik dit weekend een ga proberen om Solaris te installeren. Ik vond dit artikel wel interessante informatie geven over Solaris Express + ZFS op een home fileserver.

Naar ik begrijp zijn er 3 solaris varianten waaronder ZFS wordt aangeboden:
- Open Solaris
- Solaris Express Community Edition
- Sun Solaris
Wat nu de voor- en nadelen zijn tussen deze releases is me nog niet duidelijk. Idem welke de beste ZFS support heeft.

Solaris Express Community Edition is Sun's binary release for OpenSolaris developers (code named "Nevada"). It is built from the latest OpenSolaris source and additional technology that has not been published in the OpenSolaris source base. This release is unsupported. Developers can build the OpenSolaris source by using this release as the base system. It is usually updated every other Friday and its release is announced on the OpenSolaris announce forum.

Klinkt als snapshot releases.

[remmelt]

Demoniac schreef op maandag 06 april 2009 @ 23:59:
Mijn RAID-array is om zeep en nou kreeg ik via een ander forum dit stukje leesvoer voor mijn neus.. Wat ik daar lees verbaast me niet echt, maar je schrikt er toch van.

Kan je uitleggen wat er is gebeurd?

Hier: http://www.baarf.com/ raden ze RAID10 aan. Dat kost mij toch net wat teveel schijfruimte. Nu ben ik in dubio!

[Verwijderd]

Demoniac schreef op maandag 06 april 2009 @ 23:59:
Mijn RAID-array is om zeep en nou kreeg ik via een ander forum dit stukje leesvoer voor mijn neus.. Wat ik daar lees verbaast me niet echt, maar je schrikt er toch van.

Hoezo? Daar staat gewoon dat straks de 2TB disks te groot zijn om zijn raid array te herbouwen.

In the future, though, you will require RAID 6 to protect against single disk failures + the inevitable URE and so, effectively, RAID 6 in a few years will give you no more protection than RAID 5 does today. This isn’t RAID 6’s fault. Instead it is due to the increasing capacity of disks and their steady URE rate. RAID 5 won’t work at all, and, instead, RAID 6 will replace RAID 5.

[ Voor 40% gewijzigd door Verwijderd op 07-04-2009 10:34 ]

[P5ycho]

Ze gaan er daar vanuit dat elke unrecoverable read error precies gebeurt binnen de door de fabrikant gestelde termijn. Het kan natuurlijk ook best zijn dat in 1 seek 2 unrecoverable errors ontstaan, en daarna de komende 200TB reads niet. Het is een groot kansenspel natuurlijk. Dan nog, is het niet zo dat 1 unrecoverable read error tijdens het rebuilden gewoon door de 2de parity van raid6 opgevangen kan worden? Dan kunnen we nog wel even vooruit imho.
Raid6 is alleen leuk met een disk of 6 imho.

[Demo]

P5ycho schreef op dinsdag 07 april 2009 @ 11:35:
Ze gaan er daar vanuit dat elke unrecoverable read error precies gebeurt binnen de door de fabrikant gestelde termijn. Het kan natuurlijk ook best zijn dat in 1 seek 2 unrecoverable errors ontstaan, en daarna de komende 200TB reads niet. Het is een groot kansenspel natuurlijk. Dan nog, is het niet zo dat 1 unrecoverable read error tijdens het rebuilden gewoon door de 2de parity van raid6 opgevangen kan worden? Dan kunnen we nog wel even vooruit imho.
Raid6 is alleen leuk met een disk of 6 imho.

Dat vroeg ik me dus ook af, ze roepen daar wel dat RAID6 net zo onveilig is als RAID5, maar het hoe en waarom begrijp ik niet helemaal. "any drive failure will always be accompanied by a read error" - die read error wordt dan toch inderdaad opgevangen door de extra pariteit van RAID6?
Ik gok het er voorlopig nog op, RAID5 is geen backup, maar dit verhaal gaat nogal van het meest negatieve uit. En als de bliksem inslaat loop je ook kans om je hele array ineens kwijt te raken, dat hou ik altijd maar in mijn achterhoofd.

[Marcj]

vargo schreef op dinsdag 07 april 2009 @ 08:51:
[...]

Naar ik begrijp zijn er 3 solaris varianten waaronder ZFS wordt aangeboden:
- Open Solaris
- Solaris Express Community Edition
- Sun Solaris
Wat nu de voor- en nadelen zijn tussen deze releases is me nog niet duidelijk. Idem welke de beste ZFS support heeft.


[...]

Klinkt als snapshot releases.

Er is ook nog een vierde: Solaris Express Developer Edition, dit is de snapshot release van Solaris 10, welke elke maand met een nieuwe versie uitkomt.

De Solaris Express Community Edition is een snapshot release van OpenSolaris, welke elke 2 weken uitkomt.

Vervolgens is OpenSolaris de 'open' variant van Solaris, waarbij volgens mij het grootste verschil is dat je bij Solaris (ook de DE) veel support kunt krijgen, waar dit bij OpenSolaris volledig uit de community moet komen.

Ik denk dat ik OpenSolaris eerst eens ga uitproberen.

[P5ycho]

Demoniac schreef op dinsdag 07 april 2009 @ 11:57:
[...]
Dat vroeg ik me dus ook af, ze roepen daar wel dat RAID6 net zo onveilig is als RAID5, maar het hoe en waarom begrijp ik niet helemaal. "any drive failure will always be accompanied by a read error" - die read error wordt dan toch inderdaad opgevangen door de extra pariteit van RAID6?
Ik gok het er voorlopig nog op, RAID5 is geen backup, maar dit verhaal gaat nogal van het meest negatieve uit. En als de bliksem inslaat loop je ook kans om je hele array ineens kwijt te raken, dat hou ik altijd maar in mijn achterhoofd.

Als je schijven van dezelfde batch hebt, is de kans altijd groot dat als 1 schijf de pijp aan Maarten geeft, de rest ook binnenkort meegaat. Door de extra belasting van het rebuilden kan de rest van je array er ook best de brui aan geven.

Tegen de tijd dat dit echt een grootschalig probleem wordt zitten we al lang allemaal met ZFS of BTRFS te werken ofzo.

[DaCoTa]

Demoniac schreef op dinsdag 07 april 2009 @ 11:57:
[...]
Dat vroeg ik me dus ook af, ze roepen daar wel dat RAID6 net zo onveilig is als RAID5, maar het hoe en waarom begrijp ik niet helemaal. "any drive failure will always be accompanied by a read error" - die read error wordt dan toch inderdaad opgevangen door de extra pariteit van RAID6?

Dat klopt, maar dat is alleen maar uitstel. Als je een jaar verder kijkt zijn de schijven weer groter en dan is de kans op een tweede URE al zoveel toegenomen dat het falen van een RAID6 rebuild steeds dichterbij komt.

Let wel, dat verhaal praat over een 12TB array, iets dat voor de 2009 huis-tuin-en-keuken gebruiker erg veel is. De kans op een URE bij een 'gemiddelde' array van zeg, 4*1TB, is natuurlijk een stuk lager, maar die kans is er. En langzaamaan groeien de array sizes.

[remmelt]

Nou, het punt wat wordt gemaakt in dat artikel is dat je met de huidige schijfgroottes statistisch een hele hoge kans hebt op een read error op een andere schijf wanneer je een rebuild moet doen. Die read errors zijn niet te recoveren en daarmee verlies je dus data, terwijl je je veilig waande door die RAID5. RAID6 verlegd deze kans door dubbele redundantie, bij een read error op de ene schijf kan er altijd nog van een andere gelezen worden.

Het gaat er uiteindelijk wel om hoe belangrijk je data is en hoe RAID daar specifiek bij kan helpen. RAID is een leuke eerste backup lijn, maar je zal je belangrijke data toch nog ergens off-site moeten zetten.

edit:

DaCoTa schreef op dinsdag 07 april 2009 @ 13:05:
[...]

Dat klopt, maar dat is alleen maar uitstel. Als je een jaar verder kijkt zijn de schijven weer groter en dan is de kans op een tweede URE al zoveel toegenomen dat het falen van een RAID6 rebuild steeds dichterbij komt.

Pas op: statistisch gezien is de kans natuurlijk heel laag dat de read error van toepassing is op precies dezelfde data. Je hebt gelijk dat er bij stijgende GB's een steeds hogere kans op een read error komt, maar de kans is klein dat dat om precies dezelfde data gaat. Je hebt met RAID6 dus een vele malen hogere kans op een succesvolle rebuild, indien er niet nog een schijf helemaal de geest geeft.

[ Voor 36% gewijzigd door remmelt op 07-04-2009 13:09 ]

[P5ycho]

Moest er even over nadenken wat je precies bedoelde remmelt.
Zolang er nog redundantie bestaat kun je heel veel URE's opvangen omdat elke URE maar een rebuild van 1 "stripe" betekent, wat meestal meteen gerecoverd wordt.. zonder redundantie is de pret meteen voorbij, want geen redundantie.

[remmelt]

Ja, kijk:

We gaan er even van uit dat er maar 1 disk helemaal uitvalt en dat er op de andere disks een volgens de specs normaal aantal read errors zit. Laten we zeggen dat de read errors op 1% van het diskvolume zitten, lijkt me veel maar hypothetisch geval.

RAID5:
Schijf A heeft bestand 1
Schijf B heeft bestand 1 (redundant/stripe)
Schijf C heeft bestand 1 niet
Schijf A valt weg, bestand 1 moet nu gelezen worden van schijf B. Als er op dat bestand een read error is, faalt de rebuild omdat de "backup" niet gelezen kan worden. De kans hierop is 1%.

RAID6:
Schijf A heeft bestand 1
Schijf B heeft bestand 1 (redundant/stripe)
Schijf C heeft bestand 1 (redundant/stripe)
Schijf A valt weer weg. De rebuild zoekt naar bestand 1 op disk B en vindt die niet (kans is 1%). De kans dat hetzelfde bestand op disk C ook een read error oplevert is heel laag. Ik denk dat het 1% van 1% is, maar ik ben heel slecht in statistiek en kansberekening dus daar kan iemand me waarschijnlijk wel verbeteren.

[P5ycho]

Het is iets gecompliceerder dan jij het hierboven doet lijken, omdat RAID5 op blocklevel werkt worden er gewoon blokken bytes van een instelbare grootte verdeeld over N-1 schijven, daar de parity over berekend en deze op de laatste schijf geplaatst. Door de parity steeds op een andere disk te schrijven, wordt de load verdeeld over de schijven. Om het verhaal even compleet te maken.

[remmelt]

Ja, ik heb het heel erg versimpeld, maar dat is alleen maar omdat ik het zelf dan beter kan onthouden, niet om de boel hier naar een lager niveau te trekken

[YOYONL]

Even tussendoor ben nog steeds bezig om een nieuwe NAS bij elkaar te zoeken maar twijfel tussen schijfgrotes..

Wat is de beste keus? 500,750 of 1 TB?

[Dysmael]

Ik denk persoonlijk dat je het beste 1TB schijven kan pakken.
Qua prijs zitten die ongeveer het gunstigst en uitbreiden gaat beter.

[Q]

remmelt schreef op dinsdag 07 april 2009 @ 13:06:
Nou, het punt wat wordt gemaakt in dat artikel is dat je met de huidige schijfgroottes statistisch een hele hoge kans hebt op een read error op een andere schijf wanneer je een rebuild moet doen.
[...]

Je hebt met RAID6 dus een vele malen hogere kans op een succesvolle rebuild, indien er niet nog een schijf helemaal de geest geeft.

RAID6 is een beetje een stokpaardje van mij om genoemde redenen.

- Bij grotere arrays van 6-8+ disks is de kans op extra disk falen als er al 1 is overleden fors. Het zal je maar gebeuren dat tijdens de rebuild (RAID5) nog een disk klapt. RAID6 vangt dit nog op. De tussenvariant waarbij gebrek aan redundancy en read-errors tot gedeeltelijk dataverlies leidt wordt ook nog opgevangen.

- Door de zeer grote disk-capaciteit van de huidige disks, van 1 tot 2 TB, kost het rebuilden van een enkele disk veel tijd. Dus de periode waarin je exposed bent is relatief lang. Dus de kans op ellende is ook relatief groot. Combineer dat met een array van een disk of 6+ en vroeger of later gaat het fout.

Het artikel noemt nog een belangrijk extra punt. Bij veel en grote disks neemt de kans op een leesfout toe, zeker tijdens recovery, dus als 1 disk faalt en je effectief nog raid 5 draait moet je RAID5 op dat moment beschouwen als dat je niet meer redundant bent. Valt gedurende de rebuild nog een schijf uit dan is het kop of munt dat je een URE tegenkomt tijdens de rebuilt.

Mijn grote vraag is of de berekening van die URE echt klopt met genoemde impact. Want dan zou ik met de hoeveelheid data die ik regelmatig verzet makkelijk URE's tegen moeten komen, en daar geloof ik niets van dat ik die tegen kom.

[ Voor 25% gewijzigd door Q op 08-04-2009 00:51 ]

[Demo]

YOYONL schreef op dinsdag 07 april 2009 @ 19:40:
Even tussendoor ben nog steeds bezig om een nieuwe NAS bij elkaar te zoeken maar twijfel tussen schijfgrotes..

Wat is de beste keus? 500,750 of 1 TB?

Hoeveel ruimte heb je nodig? Inmiddels is de prijs per GB van 1.5TB schijven al aardig in de buurt van de 1TB schijven gekomen. En minder schijven betekent minder energie, minder lawaai, minder ruimte en minder kans dat er een ploft

[WoRsTeNBoY]

Uitgaand van de kennis dat bij een raid 5 je n-1 (bij raid 6 is dit n-2 dacht ik) disken aan space kan benutten,
verlies je percentueel minder schijfruimte bij een groter aantal disken..

energie en lawaai zouden enkel tijdens bedrijf moeten gebeuren...

en de kans dat een disk "ploft" lijkt me altijd evengroot, of ze nu deel uitmaakt van een array met 4 disken of met 10 ?

[remmelt]

Q schreef op woensdag 08 april 2009 @ 00:12:
RAID6 is een beetje een stokpaardje van mij om genoemde redenen.

Dat snap ik, maar zou je dat thuis dan ook inzetten? Kost toch weer een extra schijf. Ik wil juist m'n kast zo klein en koel en zuinig mogelijk houden, dan helpt een tweede redundante schijf niet mee.
Het gaat natuurlijk niet om de prijs. Achteraf is €90 voor een extra 1TB schijf niks vergeleken met de waarde van de data die door een crashende schijf verloren gaat.

Nog een vraag: als een rebuild op RAID 5 een URE tegenkomt, faalt dan de hele rebuild of alleen het block dat niet gelezen kan worden?

[Verwijderd]

WoRsTeNBoY schreef op woensdag 08 april 2009 @ 09:15:
Uitgaand van de kennis dat bij een raid 5 je n-1 (bij raid 6 is dit n-2 dacht ik) disken aan space kan benutten,
verlies je percentueel minder schijfruimte bij een groter aantal disken..

energie en lawaai zouden enkel tijdens bedrijf moeten gebeuren...

en de kans dat een disk "ploft" lijkt me altijd evengroot, of ze nu deel uitmaakt van een array met 4 disken of met 10 ?

De kans wel. Het probleem is dus dat het vaker gaat voor komen met 4 disken(kleine kans * groot aantal = een groot aantal voorkomens ). Persoonlijk zit ik juist meer te denken aan de multilevels. Raid 15 oid. Al denk ik dat raid 6 wat beter is kwa ruimte. Jammer dat Balus_C server er niet meer is. Die had het altijd heel duidelijk geschreven.

Hoe zit het met softwarematig? Kan Geom ook raid 6 bijvoorbeeld?

[ Voor 3% gewijzigd door Verwijderd op 08-04-2009 11:17 ]

[Demo]

WoRsTeNBoY schreef op woensdag 08 april 2009 @ 09:15:
en de kans dat een disk "ploft" lijkt me altijd evengroot, of ze nu deel uitmaakt van een array met 4 disken of met 10 ?

De kans dat disk 1 in je array ploft wordt niet groter nee, maar bij tien disken is de kans dat een willekeurige schijf ploft wel een stuk groter dan bij vier schijven.

[deCube]

Reinman, bedoel je dit: RAID FAQ?

[Verwijderd]

Ongeveer. Maar op zijn eigen server was het makkelijker te lezen dan in de FaQ hier vind ik.

[psy]

remmelt schreef op dinsdag 07 april 2009 @ 13:06:
Nou, het punt wat wordt gemaakt in dat artikel is dat je met de huidige schijfgroottes statistisch een hele hoge kans hebt op een read error op een andere schijf wanneer je een rebuild moet doen. Die read errors zijn niet te recoveren en daarmee verlies je dus data, terwijl je je veilig waande door die RAID5. RAID6 verlegd deze kans door dubbele redundantie, bij een read error op de ene schijf kan er altijd nog van een andere gelezen worden.

Het gaat er uiteindelijk wel om hoe belangrijk je data is en hoe RAID daar specifiek bij kan helpen. RAID is een leuke eerste backup lijn, maar je zal je belangrijke data toch nog ergens off-site moeten zetten.

edit:
[...]


Pas op: statistisch gezien is de kans natuurlijk heel laag dat de read error van toepassing is op precies dezelfde data. Je hebt gelijk dat er bij stijgende GB's een steeds hogere kans op een read error komt, maar de kans is klein dat dat om precies dezelfde data gaat. Je hebt met RAID6 dus een vele malen hogere kans op een succesvolle rebuild, indien er niet nog een schijf helemaal de geest geeft.

Heb dat artikel een tijdje geleden ook aandachtig gelezen. Echter wat hier niet genoemd wordt is het feit dat het artikel het heeft over schijven met:

(URE) of 10^14.

Tegenwoordig (het artikel is van 2007), is de URE van de meeste schijven inmiddels 10^15.
Dit maak wel veel uit...

Reads fail
SATA drives are commonly specified with an unrecoverable read error rate (URE) of 10^14. Which means that once every 100,000,000,000,000 bits, the disk will very politely tell you that, so sorry, but I really, truly can’t read that sector back to you.

One hundred trillion bits x10 is about 12 terabytes 120 terabytes.

we hebben dus weer wat ruimte

[ Voor 12% gewijzigd door psy op 08-04-2009 12:04 ]

[P5ycho]

dat is een gemiddelde, er is natuurlijk een net zo grote kans dat je toevallig binnen 1MB reads 2x een URE krijgt.

[Verwijderd]

Nee die kans is kleiner. 10^15*2=kans op 2x. Het is wel mogelijk hoor daar niet van.

[psy]

Natuurlij het blijven kansen, en misschien is het vanuit de fabrikant uit gezien pure marketing dat ze de URE inmiddels hebben aangepast, maar het artikel beschouwt die URE wel als een belangrijke waarde. Dan moet je dus wel rekening houden met die aangepaste URE om het artikel op hedendaagse waarde te schatten.

Ik ga maar weer eens backuppen

[YOYONL]

Demoniac schreef op woensdag 08 april 2009 @ 07:54:
[...]
Hoeveel ruimte heb je nodig? Inmiddels is de prijs per GB van 1.5TB schijven al aardig in de buurt van de 1TB schijven gekomen. En minder schijven betekent minder energie, minder lawaai, minder ruimte en minder kans dat er een ploft

nouja opzich lukt het tot nu toe met 5x 9 GB scsi schijven in raid 5
Maar nu ik daar ook programma's en bezig ben om het fotoarchief optezetten heb loopt ie best vlug vol..
Maar of ik echt de TB aan ga tikken aan data weet ik voorlopig niet...
Heb al nieuwe kast op het oog zie eerder in dit topic maar zit nu met de schijven in me maag...

[Q]

remmelt schreef op woensdag 08 april 2009 @ 11:11:
[...]


Dat snap ik, maar zou je dat thuis dan ook inzetten?

Jazeker. Met een 10 disk array is het risico wat mij betreft te groot dat er een 2e disk gaat tijdens een rebuild en dan heb je het URE verhaal nog. Maar dat laatste risico zie ik als kleiner.

Iets over mijn array (was 4 TB, is momenteel een 6 TB RAID 6).

http://louwrentius.blogsp...rray-of-mixed-drives.html

Hoe meer disks in je array, hoe meer kans op disk uitval. De kans dat die ene disk in je pc'tje uitvalt is 10x zo klein als de kans dat 1 disk in je 10 disk RAID array uitvalt.

Kost toch weer een extra schijf. Ik wil juist m'n kast zo klein en koel en zuinig mogelijk houden, dan helpt een tweede redundante schijf niet mee.
Het gaat natuurlijk niet om de prijs. Achteraf is €90 voor een extra 1TB schijf niks vergeleken met de waarde van de data die door een crashende schijf verloren gaat.

Nog een vraag: als een rebuild op RAID 5 een URE tegenkomt, faalt dan de hele rebuild of alleen het block dat niet gelezen kan worden?

Ik weet het echt niet. Iemand anders?

[ Voor 8% gewijzigd door Q op 08-04-2009 21:18 ]

[remmelt]

Q schreef op woensdag 08 april 2009 @ 21:17:
[...]

Hoe meer disks in je array, hoe meer kans op disk uitval. De kans dat die ene disk in je pc'tje uitvalt is 10x zo klein als de kans dat 1 disk in je 10 disk RAID array uitvalt.

Precies. Ik vermoed dus nu dat het misschien wel veel voordeliger is om een enkele grote schijf in te zetten, heel eventueel nog gemirrored, en het daar dan bij te laten. De meeste data die ik ga opslaan is toch niet echt heel onmisbaar. Mijn originele idee was om te beginnen met 3x1TB in RAID5 en dan later uit te breiden naar 4x1TB. Het URE verhaal heeft me nu aan het denken gezet. Ik vind RAID6 voor thuis too much, dan zou ik dus 4 schijven hebben voor 2TB, dan kan ik beter mirroren, eventueel 10 of 01.
Tja, de afweging tussen kosten en baten is wel listig. Misschien maak ik wel een encrypted en mirrored 500GB set voor de echt belangrijke dingen en een enkele 2TB schijf voor films, series en andere meuk. WD Green @ 500GB is ook maar 50 piek: pricewatch: Western Digital Caviar Green WD5000AACS, 500GB

[P5ycho]

Ik zou me niet te druk maken over het URE verhaal hoor.
Overigens draai ik al jaren gewoon raid1, 1TB heb ik genoeg aan. Kwestie van de verzamelwoede binnen de perken houden.

[Verwijderd]

Sja ze zeggen niet voor niets dat raid draaien geen backup is. Daarom staat belangrijke data hier op 2 disks en op een externe HD. Enige waar het nu dus niet tegen bestand is, dat is brand/waterschade.

[netvor]

Tegen dat laatste zou je je deels kunnen indekken door je externe backupschijf elders (bijv. op kantoor) te laten liggen en hem eens per week mee naar huis te nemen om de backup te syncen. Dat kost je niets (i.t.t. offsite backup via het net) en heeft als bijkomend voordeel dat je je data op je werk beschikbaar hebt, voor het geval je even iets ouds wil opzoeken of een muziekje wil luisteren.

[Ibidem]

remmelt schreef op donderdag 09 april 2009 @ 11:40:
[...]


Precies. Ik vermoed dus nu dat het misschien wel veel voordeliger is om een enkele grote schijf in te zetten, heel eventueel nog gemirrored, en het daar dan bij te laten. De meeste data die ik ga opslaan is toch niet echt heel onmisbaar. Mijn originele idee was om te beginnen met 3x1TB in RAID5 en dan later uit te breiden naar 4x1TB. Het URE verhaal heeft me nu aan het denken gezet. Ik vind RAID6 voor thuis too much, dan zou ik dus 4 schijven hebben voor 2TB, dan kan ik beter mirroren, eventueel 10 of 01.
Tja, de afweging tussen kosten en baten is wel listig. Misschien maak ik wel een encrypted en mirrored 500GB set voor de echt belangrijke dingen en een enkele 2TB schijf voor films, series en andere meuk. WD Green @ 500GB is ook maar 50 piek: pricewatch: Western Digital Caviar Green WD5000AACS, 500GB

Je steelt mijn idee een beetje Ik heb inmiddels een 4 poortige Highpoint 2310 RAID5 Controller aangeschaft voor 75 EUR. Daar komen dan 3 x 1TB in RAID5 aan te hangen en een 4de terzijnertijd. Daarnaast 2 x Samsung HD501LJ's die ik nog heb liggen in RAID1 via mijn moederbord.

Twijfel alleen tussen de ES.2 Enterprise drives van Seagate (absolute data zekerheid, 24x7 operation proof e.d.) of standaard WD10EADS drives. Samsung haar 1TB schijven gaan als bosjes dood, dus geen optie voor mij.

[Q]

remmelt schreef op donderdag 09 april 2009 @ 11:40:
[...]


Precies. Ik vermoed dus nu dat het misschien wel veel voordeliger is om een enkele grote schijf in te zetten, heel eventueel nog gemirrored, en het daar dan bij te laten. De meeste data die ik ga opslaan is toch niet echt heel onmisbaar. Mijn originele idee was om te beginnen met 3x1TB in RAID5 en dan later uit te breiden naar 4x1TB. Het URE verhaal heeft me nu aan het denken gezet. Ik vind RAID6 voor thuis too much, dan zou ik dus 4 schijven hebben voor 2TB, dan kan ik beter mirroren, eventueel 10 of 01.
Tja, de afweging tussen kosten en baten is wel listig. Misschien maak ik wel een encrypted en mirrored 500GB set voor de echt belangrijke dingen en een enkele 2TB schijf voor films, series en andere meuk. WD Green @ 500GB is ook maar 50 piek: pricewatch: Western Digital Caviar Green WD5000AACS, 500GB

Bij kleinere aantallen disks, zeg <6 dan zou RAID5 nog wel voldoen qua risico's denk ik. Dan vallen de kosten mee en heb je toch knappe storage. RAID 1(0) schaalt niet echt. De grote vraag is hoeveel storage je wilt hebben.

[Verwijderd]

mijn ZFS setup zoals die nu is (10 x 1TB WD ADS hdd's):

pool: tank
state: ONLINE
scrub: scrub completed with 0 errors on Wed Apr 1 20:54:09 2009
config:

NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
raidz1 ONLINE 0 0 0
da0 ONLINE 0 0 0
da1 ONLINE 0 0 0
da2 ONLINE 0 0 0
da3 ONLINE 0 0 0
da4 ONLINE 0 0 0
raidz1 ONLINE 0 0 0
da5 ONLINE 0 0 0
da6 ONLINE 0 0 0
da7 ONLINE 0 0 0
da8 ONLINE 0 0 0
da9 ONLINE 0 0 0

errors: No known data errors

(en da's geen 1 april grap)
en dan de read performance:

commando is:
dd if=/tank/testread.bin of=/dev/null bs=1M

uitkomst:
8136+1 records in
8136+1 records out
8532249626 bytes transferred in 23.493823 secs (363169911 bytes/sec)

en da's 363MB per seconde!?! wel tevree mee.

[vargo]

Verwijderd schreef op zaterdag 11 april 2009 @ 00:54:
mijn ZFS setup zoals die nu is (10 x 1TB WD ADS hdd's):

pool: tank
state: ONLINE
scrub: scrub completed with 0 errors on Wed Apr 1 20:54:09 2009
config:

NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
raidz1 ONLINE 0 0 0
da0 ONLINE 0 0 0
da1 ONLINE 0 0 0
da2 ONLINE 0 0 0
da3 ONLINE 0 0 0
da4 ONLINE 0 0 0
raidz1 ONLINE 0 0 0
da5 ONLINE 0 0 0
da6 ONLINE 0 0 0
da7 ONLINE 0 0 0
da8 ONLINE 0 0 0
da9 ONLINE 0 0 0

errors: No known data errors

Dit zijn 2x RaidZ1 arrays (5 disks per array)? Waarom heb je niet gekozen voor 1x RaidZ2 (10 disks)?
Wat voor hardware / welke OS (solaris/freebsd?) + versie draai je?

en dan de read performance:

commando is:
dd if=/tank/testread.bin of=/dev/null bs=1M

uitkomst:
8136+1 records in
8136+1 records out
8532249626 bytes transferred in 23.493823 secs (363169911 bytes/sec)

en da's 363MB per seconde!?! wel tevree mee.

Mooie performance! Toevallig ook bonnie++ benchmarks liggen (incl write perf)?


Van de week "Solaris Express Community Edition DVD Build 111" geinstalleerd.
Echter, mijn JBOD disks onder de Silicon Image SiI 3114 Controller (mobo=Asus K8N4-E Deluxe) worden niet herkend (onder FreeBSD werkte dit wel). De controller zelf is zichtbaar; doe ik iets verkeerd of zie ik iets over het hoofd?

[ Voor 3% gewijzigd door vargo op 11-04-2009 11:48 ]

[Verwijderd]

vargo schreef op zaterdag 11 april 2009 @ 11:46:
[...]

Dit zijn 2x RaidZ1 arrays (5 disks per array)? Waarom heb je niet gekozen voor 1x RaidZ2 (10 disks)?
Wat voor hardware / welke OS (solaris/freebsd?) + versie draai je?

goede vraag en ik heb ook een tweeledig antwoord (waar ik lang over heb nagedacht nadat ik elke beschikbare pagina over ZFS gelezen heb):
1) met 5 disks het risico bij een crash van 1 kleiner is dan 1 raid met 10 disks.
2) nu kan ik 2 of meer schijven als spare toevoegen (moet ik nog doen) aan de ' tank' waarna elke spare voor elke raidz1 gebruikt kan worden.
3) indien ik meer ruimte nodig heb, kan ik weer een raidz1 toevoegen (gaat dan via AoE)

ik draai:
FreeBSD 7.1-RELEASE AMD64

als je een i386 gebaseerd systeem hebt, zo ik ZFS onder FreeBSD niet aanraden. AMD64 platform is veel stabieler na tunen.

[...]

Mooie performance! Toevallig ook bonnie++ benchmarks liggen (incl write perf)?

zal bonnie++ eens installeren en dan draaien waarna ik de resultaten hier neer zal plempen.

Van de week "Solaris Express Community Edition DVD Build 111" geinstalleerd.
Echter, mijn JBOD disks onder de Silicon Image SiI 3114 Controller (mobo=Asus K8N4-E Deluxe) worden niet herkend (onder FreeBSD werkte dit wel). De controller zelf is zichtbaar; doe ik iets verkeerd of zie ik iets over het hoofd?

ik heb ook echt elke mogelijke combinatie geprobeerd op mijn hardware en FreeBSD ben ik het meest tevreden over.

[ Voor 4% gewijzigd door Verwijderd op 11-04-2009 19:41 ]

[Q]

Verwijderd schreef op zaterdag 11 april 2009 @ 19:39:
[...]

goede vraag en ik heb ook een tweeledig antwoord (waar ik lang over heb nagedacht nadat ik elke beschikbare pagina over ZFS gelezen heb):
1) met 5 disks het risico bij een crash van 1 kleiner is dan 1 raid met 10 disks.

10 disks = 10 disks. De kans op een disk falen maakt niet uit met 1 grote array of 2 kleine arrays in raid 0, toch? Wat is dan het voordeel? Ik ben nog niet zo heel erg thuis in zfs moet ik zeggen.

ik draai:
FreeBSD 7.1-RELEASE AMD64

als je een i386 gebaseerd systeem hebt, zo ik ZFS onder FreeBSD niet aanraden. AMD64 platform is veel stabieler na tunen.

'stabieler na tunen'. Brr. Zou je daar wel 8 TB ( ) aan storage aan toe vertrouwen?

zal bonnie++ eens installeren en dan draaien waarna ik de resultaten hier neer zal plempen.

Ik meen dat Enlightenment (leeft ze nog?!) opmerkte dat je dan wel een speciale gepatchte Bonnie moet hebben omdat anders resultaten niet kloppen als je test met een RAID device.

[Verwijderd]

Q schreef op zaterdag 11 april 2009 @ 21:09:
[...]


10 disks = 10 disks. De kans op een disk falen maakt niet uit met 1 grote array of 2 kleine arrays in raid 0, toch? Wat is dan het voordeel? Ik ben nog niet zo heel erg thuis in zfs moet ik zeggen.

ik heb http://www.solarisinterna...e_.28x4500_with_raidz2.29 gelezen en daarop mijn layout gebaseerd. en dus heb ik raidz1's gebouwd met losse spares die voor alle raidz1's dienen.

[...]

'stabieler na tunen'. Brr. Zou je daar wel 8 TB ( ) aan storage aan toe vertrouwen?

AMD64 is stabieler dan i386 met ZFS onder FreeBSD. als je op het AMD64 platform dan ook nog tuning erop loslaat, wordt het nog stabieler. ik heb dan ook niet weinig RAM erin gestoken voor ZFS, kost toch geen drol.
en ja hoor, vertrouw ik wel, kan fout gaan maar is voor mij de enige oplossing want 1) ik wil geen hardwarematige raid 2) ik werk met Solaris, HP-UX en vertouw nu ZFS genoeg onder Solaris 3) weet dat de jongens en meiden van FreeBSD heel snugger zijn en last but not least 4) de grootste bugs er nu wel uit zijn.

en een gokje meer of minder ben ik echt niet vies van. lees: maakt mij/ons geen reet uit als deze zandbak zou klappen. backup heb ik trouwens niet, 8TB backuppen vind ik waanzin voor wat ik/wij ermee doe(n). belangrijke data (van bedrijven) wordt trouwens over meerdere systemen verspreid buiten dat van de persoonlijke data als documenten, grooooote .pst bestanden onder ZFS bij het schrijven meerdere copyen (3) gemaakt worden.


[...]

Ik meen dat Enlightenment (leeft ze nog?!) opmerkte dat je dan wel een speciale gepatchte Bonnie moet hebben omdat anders resultaten niet kloppen als je test met een RAID device.

hmm, ok, moet ik dan even opzoeken, zal wel ergens hier in het draadje staan.

[Q]

Verwijderd schreef op zaterdag 11 april 2009 @ 23:10:
[...]


ik heb http://www.solarisinterna...e_.28x4500_with_raidz2.29 gelezen en daarop mijn layout gebaseerd. en dus heb ik raidz1's gebouwd met losse spares die voor alle raidz1's dienen.

Gelezen. Interessant. Wat voor controller(s) gebruik je eigenlijk?

een gokje meer of minder ben ik echt niet vies van. lees: maakt mij/ons geen reet uit als deze zandbak zou klappen. backup heb ik trouwens niet, 8TB backuppen vind ik waanzin voor wat ik/wij ermee doe(n). belangrijke data (van bedrijven) wordt trouwens over meerdere systemen verspreid buiten dat van de persoonlijke data als documenten, grooooote .pst bestanden onder ZFS bij het schrijven meerdere copyen (3) gemaakt worden.

Als ik dit zo lees heb je er in ieder geval bewust over de risico's nagedacht en als worst-case niet zo erg is, tja dan maakt het niet uit.

De meeste TB van mijn data is ook niet belangrijk, maar als het zou 'klappen' zou dat toch knap zonde zijn. Vandaar dat ik zelf wat conservatiever ben.

hmm, ok, moet ik dan even opzoeken, zal wel ergens hier in het draadje staan.

Zoek maar op 'bonnie' en enlightenment, dan kom je het vanzelf wel tegen.

[Verwijderd]

Q schreef op zaterdag 11 april 2009 @ 23:56:
[...]


Gelezen. Interessant. Wat voor controller(s) gebruik je eigenlijk?

had eerst HP 2300's aangeschaft. blijkt dat die niet naast elkaar werken! bummer: 1 erin gaat prima maar als je een tweede ernaast steekt, boot hij niet door, krijg je een out of memory error. balen dus. maar goed.
HP 2340 besteld en geleverd, die erin en meteen gaan bouwen vanwege tijdsdruk. er draait nu een enkele 2340 in met 10 HDD's, heb nog plek op die controller voor 6 HDD's.
heb nu geen zin om te gaan kijken of die 2300 naast de 2340 werkt.

/edit:
en van de SUN site:
If you are creating a RAID-Z configuration with many disks, as in this example, a RAID-Z configuration with 14 disks is better split into a two 7-disk groupings. RAID-Z configurations with single-digit groupings of disks should perform better.

ik heb plek voor 16 HDD's op die 2340. daarnaast kan ik nog 6 op de SATA controller van het mammaplankje kwijt dus mocht het vol gaan lopen, heb ik 3 raidz1 van 5 met 1 spare op de controller waarnaast ik nog spares kan plaatsen op de controller.


[...]

Als ik dit zo lees heb je er in ieder geval bewust over de risico's nagedacht en als worst-case niet zo erg is, tja dan maakt het niet uit.

De meeste TB van mijn data is ook niet belangrijk, maar als het zou 'klappen' zou dat toch knap zonde zijn. Vandaar dat ik zelf wat conservatiever ben.

ik heb uren gelezen, geiinstalleerd, gevloekt en kannen koffie er doorheen gejaagd voordat ik tevreden was. alles afgewogen en voor relatief weinig geld veel opslag. en tot nu toe betrouwbaar qua opslag. draai er echter geen veel vragende db's op, dat vertrouw ik dus weer niet. eerst maar FreeBSD 8.x afwachten wil ik dat pad eventueel inslaan. tis allemaal wikken en wegen, voor opslag is het best, scrub draaide eerst om de 4 uur, nu om de twee dagen en afbouwend dus het vertrouwen in ZFS wordt aan deze kant immer groesser! wil ik rustig kunnen knorren, had ik wel wat anders gekozen maar heb geen zin in de rekening van het NUON met bv een EVA 5000 met 96 300GB disks erin.


[...]

Zoek maar op 'bonnie' en enlightenment, dan kom je het vanzelf wel tegen.

gaat ik doen!

[ Voor 12% gewijzigd door Verwijderd op 12-04-2009 02:37 ]

[Q]

Verwijderd schreef op zondag 12 april 2009 @ 02:25:
[...]


had eerst HP 2300's aangeschaft. blijkt dat die niet naast elkaar werken! bummer: 1 erin gaat prima maar als je een tweede ernaast steekt, boot hij niet door, krijg je een out of memory error. balen dus. maar goed.
HP 2340 besteld en geleverd, die erin en meteen gaan bouwen vanwege tijdsdruk. er draait nu een enkele 2340 in met 10 HDD's, heb nog plek op die controller voor 6 HDD's.
heb nu geen zin om te gaan kijken of die 2300 naast de 2340 werkt.

ik heb plek voor 16 HDD's op die 2340. daarnaast kan ik nog 6 op de SATA controller van het mammaplankje kwijt dus mocht het vol gaan lopen, heb ik 3 raidz1 van 5 met 1 spare op de controller waarnaast ik nog spares kan plaatsen op de controller.

Die 2340 werd met toch te duur voor thuis dus moet het met de 2320 doen.

Dus de highpoint puur als een kaart die je 16 sata poorten geeft. Dan nog 6 op het mobo = 22 disks. Dus totaal zou je 4 raidz1 + 2 spares kunnen doen. Hierbij begrijp ik dat een raidz1 eigenlijk een raid 5 set is.

2 spares en 4 sets van (5-1) disks = 4x4 = 12 TB aan redundante storage?. Dat is toch wel 'duur' gezien de hoeveelheid disks. Ik zag in jouw bron een mooi tabelletje over io vs storage space. Volgens mij is io (NAS?) geen issue en wil je max storage space, dus misschien is het toch een idee om van de standaard af te wijken. Zeker als dit voor privé is?

Aan de andere kant, zover is het nog lang niet en wat kost dan een TB?

/edit:
en van de SUN site:
If you are creating a RAID-Z configuration with many disks, as in this example, a RAID-Z configuration with 14 disks is better split into a two 7-disk groupings. RAID-Z configurations with single-digit groupings of disks should perform better.

Precies. Maar is io een issue? Als het om storage gaat, boeit alleen sequentiële doorvoer en dan zou je volgens mij toch kunnen kiezen voor 1 grote array. Ik vraag me af of het rebuilden van een grotere array langer duurt dan een kleinere array, dat weet ik eigenlijk niet eens zeker. Want dat zou in mijn ogen een goede reden zijn om toch kleinere arrays te maken, de periode dat je risico's loopt gedurende de rebuild is geringer. Maar volgens mij hangt de rebuild tijd voornamelijk af van de grote van de disk.

Met 1 TB disks, een rebuilt kost zo een uurtje of 12+. Dat betekent dat al je disks even lekker extra staan te stampen gedurende die 12+ uur. Als er dan nog een zwakke broeder tussen zit...

ik heb uren gelezen, geïnstalleerd, gevloekt en kannen koffie er doorheen gejaagd voordat ik tevreden was. alles afgewogen en voor relatief weinig geld veel opslag. en tot nu toe betrouwbaar qua opslag. draai er echter geen veel vragende db's op, dat vertrouw ik dus weer niet. eerst maar FreeBSD 8.x afwachten wil ik dat pad eventueel inslaan. tis allemaal wikken en wegen, voor opslag is het best, scrub draaide eerst om de 4 uur, nu om de twee dagen en afbouwend dus het vertrouwen in ZFS wordt aan deze kant immer groesser! wil ik rustig kunnen knorren, had ik wel wat anders gekozen maar heb geen zin in de rekening van het NUON met bv een EVA 5000 met 96 300GB disks erin.

Ha, dat is een ander verhaal. Met betrouwbaar doel ik zelf meer dat ZFS, alhoewel erg veel belovend, naar mijn weten alleen op solaris aan 100% grenzend stabiel is, op FreeBSD is het nog relatief nieuw, niets ten kwade van de ontwikkelaars. Alternatief was om gewoon 'ouderwets' geom raid 5 of raid 6 te draaien, maar dan mis je de features van zfs.

Waarom ben je uiteindelijk voor zfs gegaan eigenlijk?

[ Voor 19% gewijzigd door Q op 12-04-2009 12:56 ]

[Ibidem]

Ik zit even met een kleine uitdaging en ben al de hele ochtend reviews aan het lezen over moederborden, cpu's en power consumptie + performance. Kom er niet uit. Ik zal de situatie schetsen.

Wil de beste basis leggen voor mijn fileserver, gebruik SABnzbd+ erg vaak en hij moet doen zoals de naam aangeeft. Bestanden serveren aan mijn gamepc (muziek + films) en aan mijn notebook (muziek en foto's) + .mkv, mp3 e.d. naar mijn Tvix over GBit LAN.

Nu mijn keuze voor de beste basis, AMD of Intel? Heb geen voorkeur, wil alleen zoveel mogelijk features, performance en een lage power consumptie. Heb zelf een Highpoint 2310 (PCI-E 4x) controller waar nu 4 x 750GB drives in RAID5 op draaien. 2 x 500GB in RAID1 (eventueel plus encryptie) (van plan om aan te sluiten op onboard SATA controller)

Om dus toekomst proof te zijn wil ik zoveel mogelijk SATA HDD's kunnen aansluiten. Ik kan aan een identieke Highpoint controller goedkoop komen en hierdoor is een 2e PCI-E 4x poort noodzakelijk.

Nu kom ik deze tegen Foxconn A7DA-S met 2 x PCI-E 16x (dus voor de 2 controllers) en 6 x SATA300 met o.a. RAID 5 mogelijkheden. Ga ik rekenen, dan kan ik dus 8 x SATA HDD's aansluiten op de controllers en 5 x HDD's (minus SATA voor de DVD brander) waarvan dus al 2 x RAID 1 draait. Heb dan nog 3 x RAID 5 mogelijkheden over.

Ervanuitgaande dat ik nu 2.75TB effectief heb als storage kan ik dan uitbreiden tot max (met 1.5TB schijven) 7.5TB extra ( 4 x 1.5TB @ RAID5 en 3 x 1.5TB @ RAID5) Totaal plaatje levert mij dus 9.75TB op met dit moederbord. Dit kost me dus in totaal 175 eur (mobo en nieuwe controller) exclusief disken.

Kies ik voor de Intel oplossing, dan kom ik op de GB GA-EG45M-DS2H uit. Hier kan ik alleen mijn huidige controller op kwijt (2.25TB) en heb dan nog 5 x SATA300 (plus 1 DVD brander) over. Hiervan gebruik ik al 2 poorten voor 2 x 500GB in RAID1. Dan heb ik nog maar 3 poorten over. Totale capaciteit (uitgaande van 1.5TB drives) is dus 5.75TB voor dit bord. Kost me 100 EUR. Heb als leuke feature dat dit bord een TPM heeft.

Nu is het plaatje duidelijk, 9.75TB voor AMD en 4TB minder als ik de Intel oplossing neem. Alleen hoe zit het met mijn eisen als performance en power consumptie? Intel kent een E7400 als snelle C2D met goede power management features en AMD kent een X2 5050E of een Phenom X3 720.

E7400 kan volgens Tom's Hardware makkelijk mee met de 5050E als het gaat om power consumptie en vernedert deze OOK qua performance.

Phenom X3 720 is een stroom vreter helaas en laat de E7400 achter zich als het gaat om performance.

5050E is lekker zuinig, maar qua performance minder dan de andere 2 CPU's.

Wat moet ik doen?

Gaan voor de AMD oplossing ivm grotere capaciteits mogelijkheden icm een 5050E en hopen dat deze snel genoeg is voor mijn doeleinden

Of voor de Intel oplossing, minder opslagopties maar wel sneller

Iemand?

P.S. extra controller (16 poorts b.v.) is geen optie omdat ik dit echt TE duur vind.

Bedankt voor het lezen

[Q]

Tekn0z schreef op zondag 12 april 2009 @ 12:38:


Nu is het plaatje duidelijk, 9.75TB voor AMD en 4TB minder als ik de Intel oplossing neem. Alleen hoe zit het met mijn eisen als performance en power consumptie?

Wat moet ik doen?

De goedkoopste traagste dual-core is snel genoeg voor wat jij wilt. Ik zou me focussen op energie-zuinigheid.

Mijn idee is om voor downloads niet een nas te gebruiken. In een nas worden veel disks gestopt en voor je het weet doet dat ding 100 watt + in idle. Doe dat 24/7/365 en je wordt niet blij. Beter is om een super zuinig pctje het 24/7 download werk te doen en de data af en toe te offloaden naar je nas dat je on-demand aan zet.

[Zjemm]

Ik volg dit en andere verwante topics al enige tijd omdat ik zelf ook een NAS/Server op basis van een ITX moederbord wil gaan bouwen.

Als OS had ik Linux in gedachten, en hij moet aangesloten worden op mijn HD TV via HDMI.
Nu dat gezegt; is het dus zaak een mobo te vinden die HDMI (al dan niet via DVI/HMDI converter) heeft en full HD films kan afspelen, en dat alles op linux draaid. Dit heeft mijn voorkeur omdat ik deze NAS/Server ook wil gaan gebruiken om mijn linux kennis wat op te krikken.

Overige taken zijn voornamelijk fileserver en Usenet download server (SABNZBD)

Ik zat zelf te kijken naar moderborden als:
jetway-nc62k en een AMD 4850 CPU

of

Intel DG45FC met een intel 7300 core 2 duo

of

J&W Minix 780G-SP128MB met een AMD 4850 CPU

verder heb je ook nog ZOTAC GeForce 9300-ITX , maar die heb ik in NL nog niet kunnen vinden

Alle drie moeten ze wel wat aankunnen, maar mijn vraag is of ik onder linux niet tegen problemen ga aanlopen bij een van deze setups. Hierbij doel ik dan het meest op videokaart ondersteuning (drivers) en het afspelen van HD materiaal

Iemand iedeeen hierover? of misschien bekijk ik wel helemaal de verkeerde mogelijkheden?

[ Voor 4% gewijzigd door Zjemm op 12-04-2009 14:41 ]

[Verwijderd]

Q schreef op zondag 12 april 2009 @ 12:19:
[...]

Die 2340 werd met toch te duur voor thuis dus moet het met de 2320 doen.

Dus de highpoint puur als een kaart die je 16 sata poorten geeft. Dan nog 6 op het mobo = 22 disks. Dus totaal zou je 4 raidz1 + 2 spares kunnen doen. Hierbij begrijp ik dat een raidz1 eigenlijk een raid 5 set is.

ja, raidz1=raid5 en raidz2=raid6 als het ware

2 spares en 4 sets van (5-1) disks = 4x4 = 12 TB aan redundante storage?. Dat is toch wel 'duur' gezien de hoeveelheid disks. Ik zag in jouw bron een mooi tabelletje over io vs storage space. Volgens mij is io (NAS?) geen issue en wil je max storage space, dus misschien is het toch een idee om van de standaard af te wijken. Zeker als dit voor privé is?

ja is voor het grootste deel een NAS. heftige io mbt db's doe ik nog steeds op scsi disks.

[...]

Precies. Maar is io een issue? Als het om storage gaat, boeit alleen sequentiële doorvoer en dan zou je volgens mij toch kunnen kiezen voor 1 grote array. Ik vraag me af of het rebuilden van een grotere array langer duurt dan een kleinere array, dat weet ik eigenlijk niet eens zeker. Want dat zou in mijn ogen een goede reden zijn om toch kleinere arrays te maken, de periode dat je risico's loopt gedurende de rebuild is geringer. Maar volgens mij hangt de rebuild tijd voornamelijk af van de grote van de disk.

io is hier geen issue.
wat verder mss leuk is om te weten: ik heb een videocamera en plemp de filmpjes daar zo neer. heb vervolgens gzip compressie aangezet en max doorvoer was 2MB tot 3MB. is een 4850ee en niet echt geschikt daarvoor. zonder compressie 'een stuk' sneller

Met 1 TB disks, een rebuilt kost zo een uurtje of 12+. Dat betekent dat al je disks even lekker extra staan te stampen gedurende die 12+ uur. Als er dan nog een zwakke broeder tussen zit...

12 uur? wat dacht je van een minuut tot een paar minuten?
heb het getest. servert uitgezet, hdd los getrokken, booten maar, ZFS mekkert, uit, verse lege erin, booten, verzilveren duurde rond de 1 min 20 sec ofzo. ik was ontzettend onder de indruk en heb mijn koffie koud laten worden omdat ik nog meer ben gaan testen.
ben trouwens met een 2300 aan het spelen. 4 500GB HDD's erin en dan raidz1 bouwen, volprakken, 1 disk eruit, enz. kijken wat ZFS allemaal aankan. heb daar soort procedures voor geschreven, niet met stopwatch trouwens, 30 sec meer of minder maakt mij niet uit. paar uur wel, vandaar ZFS.


[...]

Ha, dat is een ander verhaal. Met betrouwbaar doel ik zelf meer dat ZFS, alhoewel erg veel belovend, naar mijn weten alleen op solaris aan 100% grenzend stabiel is, op FreeBSD is het nog relatief nieuw, niets ten kwade van de ontwikkelaars. Alternatief was om gewoon 'ouderwets' geom raid 5 of raid 6 te draaien, maar dan mis je de features van zfs.

ik heb GEOM aan het draaien gehad maar uitbreiden is ruk. heb ook onder Linux zitten spelen met mdadm maar na de kennismaking met ZFS (en idd de features) voor ZFS gekozen.

Waarom ben je uiteindelijk voor zfs gegaan eigenlijk?

grootste reden: je kunt de zpool loskoppelen van je systeem, nieuw moederbord, nieuwe processor, FreeBSD erop, zpool koppelen en weer lekker verder. dat in combinatie met het snelle verzilveren, makkelijk uitbreiden, snelheid, leuk en exotisch deed mij voor ZFS kiezen.
verder omdat ik meen dat het het fs is van de toekomst.

[Q]

Verwijderd schreef op zondag 12 april 2009 @ 16:55:
12 uur? wat dacht je van een minuut tot een paar minuten?
heb het getest. servert uitgezet, hdd los getrokken, booten maar, ZFS mekkert, uit, verse lege erin, booten, verzilveren duurde rond de 1 min 20 sec ofzo. ik was ontzettend onder de indruk en heb mijn koffie koud laten worden omdat ik nog meer ben gaan testen.
ben trouwens met een 2300 aan het spelen. 4 500GB HDD's erin en dan raidz1 bouwen, volprakken, 1 disk eruit, enz. kijken wat ZFS allemaal aankan. heb daar soort procedures voor geschreven, niet met stopwatch trouwens, 30 sec meer of minder maakt mij niet uit. paar uur wel, vandaar ZFS.

Sorry, maar ik geloof niet dat een (lege) disk binnen een paar minuten gerebuild is. Dat zou betekenen dat je bij een mirror na 2 minuten al ook de andere disk zou kunnen los trekken en dan zou alles moeten werken op de 2e blanke disk die in 2 minuten gerebuild is? Dat kan toch niet? Stel 1 TB disk, dan moet je dus even 1 TB in 120 seconden kwijt.

Wat ik me wel kan voorstellen: dat ZFS alleen voor het data gedeelte een rebuild doet en niet voor de gehele disk, zoals bij Linux software raid. Bij een lege disk gaat dat super snel, met weinig data ook. Maar bij grote hoeveelheden data neemt dat voordeel snel af. Stel dat je met 100 MB/s kunt rebuilden kost een TB toch nog wel 3 uur. In de praktijk betwijfel ik of 100MB/s realistisch is. Haal je 50 mb/s dan mag je al 6 uur 'm staan te knijpen.

grootste reden: je kunt de zpool loskoppelen van je systeem, nieuw moederbord, nieuwe processor, FreeBSD erop, zpool koppelen en weer lekker verder. dat in combinatie met het snelle verzilveren, makkelijk uitbreiden, snelheid, leuk en exotisch deed mij voor ZFS kiezen.
verder omdat ik meen dat het het fs is van de toekomst.

Dat laatste ben ik wel met je eens. Ik hoop dat sun die licentie eens verandert Btree fs is ook interessant maar doet geen raid 6 en als raid6-fanaticus haak ik dan al af.

Als je toch nog aan het testen bent of daar spullen voor hebt: de 2320 die ik gebruik wil disks eerst 'initualiseren' anders kun je ze niet gebruiken, ook al maak je er jbods van voor software raid. Ik ben zelf bang dat als je die disks in een ander systeem stopt dat ze mogelijk niet herkend worden als ze niet ook weer aan een highpoint controller hangen. Ik ben benieuwd of zo'n disk gewoon goed herkend wordt aan een bijv on-board controller. Denk je net hardware-onafhankelijk te zijn door software raid te gebruiken, doet zo'n highpoint mogelijk weer lastig. Ik weet het echter niet want ik heb het niet getest en heb niet meer de ruimte omdat te doen (wil geen 3 TB aan data op het spel zetten). Niet dat je het voor mij perse hoeft te testen, maar is misschien wel goed om rekening mee te houden.

[ Voor 8% gewijzigd door Q op 12-04-2009 23:03 ]

[P5ycho]

Q schreef op zondag 12 april 2009 @ 22:57:
[...]
Sorry, maar ik geloof niet dat een (lege) disk binnen een paar minuten gerebuild is. Dat zou betekenen dat je bij een mirror na 2 minuten al ook de andere disk zou kunnen los trekken en dan zou alles moeten werken op de 2e blanke disk die in 2 minuten gerebuild is? Dat kan toch niet? Stel 1 TB disk, dan moet je dus even 1 TB in 120 seconden kwijt.

Omdat ZFS niet alleen op block-level maar ook op filesystem-level werkt, kan ZFS door checksums, intent logs (journaling) etc. gewoon nagaan wat de laatste status van de uitgevallen disk is, en vanaf dat punt gaan herbouwen. Dat is een kwestie van een paar minuten changed data in bovenstaand geval, is zo gepiept. Normale dedicated raid controllers kunnen dat niet omdat ze geen filesystems kunnen lezen, ze zijn op een veel lager niveau bezig.

[Q]

P5ycho schreef op maandag 13 april 2009 @ 00:27:
[...]

Omdat ZFS niet alleen op block-level maar ook op filesystem-level werkt, kan ZFS door checksums, intent logs (journaling) etc. gewoon nagaan wat de laatste status van de uitgevallen disk is, en vanaf dat punt gaan herbouwen. Dat is een kwestie van een paar minuten changed data in bovenstaand geval, is zo gepiept. Normale dedicated raid controllers kunnen dat niet omdat ze geen filesystems kunnen lezen, ze zijn op een veel lager niveau bezig.

Dat is dus verklaring 2. Maar zeg dat als 50% van de capaciteit van de array in gebruik is en dus ook 50% van een disk, dan duurt een rebuild lijkt me geen twee minuten maar zeker wel een paar uur puur omdat er weer data op die disk moet komen. ? Dus naarmate je array voller raakt duurt rebuilden langer?

edit: 2 minuten googlen en ik geef antwoord op mijn eigen vraag (ja).

http://markmail.org/message/kkw6fpukfjtjpz6d

Het is uit 2007 dus de kanttekeningen er onder acht ik niet meer actueel.

[ Voor 9% gewijzigd door Q op 13-04-2009 01:23 ]

[P5ycho]

Daarin staat dan weer een link naar Jeff Bonwick's blog: http://blogs.sun.com/bonwick/entry/smokin_mirrors

[Ibidem]

Q schreef op zondag 12 april 2009 @ 13:04:
[...]


De goedkoopste traagste dual-core is snel genoeg voor wat jij wilt. Ik zou me focussen op energie-zuinigheid.

Mijn idee is om voor downloads niet een nas te gebruiken. In een nas worden veel disks gestopt en voor je het weet doet dat ding 100 watt + in idle. Doe dat 24/7/365 en je wordt niet blij. Beter is om een super zuinig pctje het 24/7 download werk te doen en de data af en toe te offloaden naar je nas dat je on-demand aan zet.

Nu is het zo dat ik inderdaad er veel disks in ga onderbrengen en ik het downloaden effectief gezien misschien 24 uur in een week doe. Anders download je zoveel dat je het niet eens allemaal kan bekijken of beluisteren.

Al met al raad je een AMD based energiezuinig systeem aan gebasseerd op een 5050E processor welke hoofdzakelijk als NAS gebruikt gaat worden welke af en toe (24 uur per week) aanstaat om te downloaden, parren en unrarren?

Wil voorkomen dat ik voor elke taak een aparte pc moet gaan neerzetten. Heb nu al 1 gamepc en straks dan een fileserver, wil niet nog eens een extra dedicated download bak neerzetten.

[Verwijderd]

Je kan een laptop schijf/WD Green schijf gebruiken als download schijf. Deze kopieert als hij klaar is dan het naar je opslag array. Voor wat simpel download werk en tijd genoeg voor par/rar is een Sempron LE al voldoende. Dan heb je geen last dat je grote opslag array te veel stroom verbruikt.

[Ibidem]

Verwijderd schreef op dinsdag 14 april 2009 @ 11:00:
Je kan een laptop schijf/WD Green schijf gebruiken als download schijf. Deze kopieert als hij klaar is dan het naar je opslag array. Voor wat simpel download werk en tijd genoeg voor par/rar is een Sempron LE al voldoende. Dan heb je geen last dat je grote opslag array te veel stroom verbruikt.

Zal met die Sempron het files serveren naar 2 tot 3 pc's vanaf de RAID array ook op de max snelheid zijn? Of zal dan de CPU een bottleneck zijn? Gebruik een GBit netwerk hiervoor trouwens.

P.s. de aparte download schijf zal er ook komen en de array zal alleen actief zijn wanneer ik de files zelf ga kopieren (na renamen) op de array OF wanneer het array opdracht krijgt om files te serveren naar een van mijn andere pc's over het netwerk.

[Verwijderd]

Ik kan met mijn sempron gewoon 1Gbit halen met behulp van FTP. No problem. Zeker als je nog een iets snellere neemt dan ik heb en een beter moederbord neemt. Je kan ook nog een paar watt meer verbuik nemen door er een intel pci-e gbit netwerkkaart in te stoppen. Die ontlast de processor.
productreview: Asus M3N78-CM review door Verwijderd

[ Voor 35% gewijzigd door Verwijderd op 14-04-2009 12:32 ]

[TERW_DAN]

Met dank aan Quadro! is er inmiddels een deel 3: Het grote DIY RAID NAS topic deel 3

Dit topic zit vol dus is het tijd om afscheid te nemen