Het grote DIY RAID NAS topic deel 3

[DumbAss]

code:

smbget --dots smb://freenas/media/test.m4v
Using workgroup vanutsteen.nl, user leon
........................................
smb://freenas/media/test.m4v downloaded
Downloaded 256.67MB in 8 seconds

Dus ongeveer 32MB per seconde

[_-= Erikje =-_]

Jep, prima kassie, al moest ik wel alle popnagels uitboren om te zorgen dat mijn mini-itx bordje met stock i3 koeler d'r in paste

[nero355]

DumbAss schreef op zondag 20 november 2011 @ 15:34:
[afbeelding]
[afbeelding]
[afbeelding]

code:

smbget --dots smb://freenas/media/test.m4v
Using workgroup vanutsteen.nl, user leon
........................................
smb://freenas/media/test.m4v downloaded
Downloaded 256.67MB in 8 seconds

Dus ongeveer 32MB per seconde

Dat is omdat je XP draait op de machine die downloadt of zo ?? XP komt over het algemeen niet verder dan zo'n 35 MB/s

Een beetje NAS moet IMHO 100 MB/s doen anders is het gewoon niet leuk

[donnervogel]

Inderdaad 32MB/s is niet om juichen. Om NAS performance te testen is er een Intel NAS performance Toolkit. Helaas werkt die alleen op PC's voorzien van een intel processor. Is er eigenlijk ook zoiets voor een PC voorzien van een AMD processor. Ik heb gezocht maar niets gevonden. Misschien zoek ik verkeerd of gebruik de verkeerde zoektermen. NAS performance tester 1.3 net gevonden, heeft iemand daar ervaring mee?

[ Voor 9% gewijzigd door donnervogel op 22-11-2011 20:15 ]

[sloth]

Je kan altijd, ongeacht welk hardware platform of OS, een bandwidth test doen dmv iperf, en afhankelijk van je OS je lokale storage benchmarken.
Dit kan bijvoorbeeld door dd om een idee te krijgen van sequentiële read en write troughput, en hd tune kan je hiervoor gebruiken voor windows.

[ Voor 5% gewijzigd door sloth op 22-11-2011 20:45 ]

[_-= Erikje =-_]

idd, al test iperf dus niet het io subsystem eronder maar ik mag aannemen dat je met 4 disks wel wat meer dan 35 mbyte/s kan verpompen.

[DumbAss]

Iperf:

code:

leon@polly:~$ iperf -c 192.168.1.160
------------------------------------------------------------
Client connecting to 192.168.1.160, TCP port 5001
TCP window size: 16.0 KByte (default)
------------------------------------------------------------
[  3] local 192.168.1.128 port 57668 connected with 192.168.1.160 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec   970 MBytes   814 Mbits/sec

Net ssh geprobeerd maar die had ook zo'n snelheid van rond de 35MB/s

DD:

code:

[leon@freenas ~]$ dd if=/dev/zero of=testfile bs=1024 count=50000
50000+0 records in
50000+0 records out
51200000 bytes transferred in 1.397737 secs (36630639 bytes/sec)

[leon@freenas ~]$ dd if=testfile of=/dev/zero bs=1024 count=50000
50000+0 records in
50000+0 records out
51200000 bytes transferred in 0.536188 secs (95488916 bytes/sec)

FTP:

code:

leon@polly:~$ wget ftp://192.168.1.160/test.m4v
--2011-11-23 01:31:12--  ftp://192.168.1.160/test.m4v
           => `test.m4v'
Connecting to 192.168.1.160:21... connected.
Logging in as anonymous ... Logged in!
==> SYST ... done.    ==> PWD ... done.
==> TYPE I ... done.  ==> CWD not needed.
==> SIZE test.m4v ... 269133654
==> PASV ... done.    ==> RETR test.m4v ... done.
Length: 269133654 (257M) (unauthoritative)

100%[===============================================================================================================================================>] 269,133,654 61.9M/s   in 3.9s    

2011-11-23 01:31:18 (66.3 MB/s) - `test.m4v' saved [269133654]

Dus tsja... wie het weet mag het zeggen

[ Voor 18% gewijzigd door DumbAss op 23-11-2011 01:57 ]

[sloth]

Ftp is een goed protocol om mee te testen. Probeer het ook eens met vsftpd als daemon op je server, dat is een extreem performante en veilige ftp server die bijvoorbeeld ook gebruikt wordt om ftp.debian.org te hosten.

Ook kan je het NFS protocol hiervoor gebruiken. Dat staat ook bekend als vrij efficiënt.

Daarnaast kan je het beste even testen met een groter bestand, omdat ik zag dat je nu test met een file van "slechts" 256MB, en dat is weinig bij gigabit snelheden.
Ook zou je de lokale storage van de client waarmee je deze file download even moeten benchmarken, of als je de mogelijkheid hebt even een ramdisk van >1GB aanmaken en daar naar downloaden, zo elimineer je die bottleneck alweer

[DumbAss]

Ik zal vanavond eens testen met een lokale ramdisk. Goed idee! En een groter bestand. Ben benieuwd!

[VorCha]

Nadat mijn WD ShareSpace gecrashed was ben ik gaan heroverwegen hoe ik mijn storage wil op zetten. Op dit moment heb ik 1,1TB aan data die ik op de effectieve ruimte van 2,7Tb van de WD had geplaatst. De NAS is vooralsnog dood, maar de data disken zitten in een CentOS 6 server. Die de data in ieder geval al via NFS aanbied.

Ik had welliswaar redundantie, maar helaas geen goede replica/backup setup.

Ik ben nu het volgende van plan. Ik heb op 2 locaties een esxi server draaien. Op locatie 1, waar ik woon, heb ik alleen ruimte voor een enkele 3TB disk maar hier maak ik wel gebruik van de data. Op locatie 2 kan ik de 4 1TB disken plaatsen. Nu ga ik CentOS VM's aanmaken op beide locaties en via ssh de disken lokaal RAW aanbieden aan de VM's.

Ik heb overigens een ipsec vpn tunnel tussen beide locaties. Via een nfs mount en nsync wil ik de 2 data directories gaan syncen.

Performance is overigens geen issue voor me.

[DumbAss]

Met ramdisk:

code:

Connecting to 192.168.1.160:21... connected.
==> SYST ... done.    ==> PWD ... done.
==> TYPE I ... done.  ==> CWD not needed.
==> SIZE test.bin ... 745845393
==> PASV ... done.    ==> RETR test.bin ... done.
Length: 745845393 (711M) (unauthoritative)

100%[================================================================================================================================================>] 745,845,393 89.7M/s   in 8.0s    

2011-11-24 00:07:45 (89.3 MB/s) - `test.bin' saved [745845393]

[Verwijderd]

@DumbAss: je lokale write moet flink boven de 110MB/s liggen; als je 95MB/s haalt met lokale write kun je die nooit halen via het netwerk. Lokaal gaat het namelijk tijdelijk tegen 140MB/s en dan een tijd 0. Als je dat over het netwerk doet wordt de 140MB/s eerder 110 of 100MB/s en de 0 blijft 0.

FreeNAS doet slechte tuning van ZFS. Dus je kunt bijvoorbeeld met de txg.timeout en txg.synctime en txg.write_limit_override waarden spelen die je in /boot/loader.conf kunt instellen. Heeft FreeNAS hier geen methode voor via de web-interface?

[HarmoniousVibe]

@CiPHER: jij zegt altijd dat je voor software raid eigenlijk een echte HBA moet gebruiken, zonder RAID layer. Is het echter niet zo, dat een hardwarematige RAID controller (write through natuurlijk) alsnog voordelen biedt, mits er een BBU op zit? De controller mag dan wel liegen tegen het FS, maar is het niet zo dat dat eigenlijk niks uitmaakt, omdat er toch een BBU op zit? XFS raadt bijvoorbeeld aan om write barriers e.d. juist uit te schakelen indien er een BBU wordt gebruikt.

[vso]

mijn NAS is de ultime oplossing, 2 workstations + servers en NAS in 1

Xen op freebsd als Domain 0 (host) + vga,usb,sound

[ Voor 34% gewijzigd door vso op 27-11-2011 13:52 ]

[FireDrunk]

HarmoniousVibe schreef op zondag 27 november 2011 @ 12:40:
@CiPHER: jij zegt altijd dat je voor software raid eigenlijk een echte HBA moet gebruiken, zonder RAID layer. Is het echter niet zo, dat een hardwarematige RAID controller (write through natuurlijk) alsnog voordelen biedt, mits er een BBU op zit? De controller mag dan wel liegen tegen het FS, maar is het niet zo dat dat eigenlijk niks uitmaakt, omdat er toch een BBU op zit? XFS raadt bijvoorbeeld aan om write barriers e.d. juist uit te schakelen indien er een BBU wordt gebruikt.

XFS raad het aan om performance te winnen... Maar een BBU kan ook falen (ja ervaring mee). Op dat moment ben je juist blij dat je Write Barriers hebt. Je wil graag dat de data die je OS denkt geschreven te hebben, ook echt op disk staat.... En niet op een Cache module.

[Verwijderd]

HarmoniousVibe schreef op zondag 27 november 2011 @ 12:40:
@CiPHER: jij zegt altijd dat je voor software raid eigenlijk een echte HBA moet gebruiken, zonder RAID layer. Is het echter niet zo, dat een hardwarematige RAID controller (write through natuurlijk) alsnog voordelen biedt, mits er een BBU op zit?

Afgezien van of je hardware RAID sneller is dan software RAID via ZFS, verlies je enorm veel voordelen van ZFS als je op deze manier draait.

• Voor ZFS is een hardware volume een niet-redundante configuratie met een enkele disk. ZFS kan dus ook geen corruptie corrigeren omdat het geen redundantie heeft; het kan ook niet de redundantie van de hardware RAID gebruiken omdat het geen directe controle heeft over disks; ZFS heeft geen enkele weet over dat het een RAID is maar beschouwt het als een single disk pool. Dat betekent dat redundante metadata wel gecorrigeerd kan worden, maar je data in principe niet. Je verliest dus een van de grootste voordelen van ZFS dat het automatisch corruptie repareert.
• Draai je met copies=2 dan worden normaliter de kopiën mooi verdeeld over alle vdevs of vdev disk members. Maar in geval van hardware RAID gaat ZFS uit van een enkele disk en kan het dus zo zijn dat twee copies op dezelfde disk geplaatst worden, zodat uitval van die disk gelijk twee copies meeneemt. Je copies=2 functionaliteit (ditto copies) wordt zo dus flink afgezwakt.
• Hardware RAID doet vaak erg moeilijk over bad sectors, en heeft TLER schijven nodig om niet masaal schijven te verliezen. Dat betekent dus óf dure TLER schijven kopen óf een groot risico aanvaarden. In geval van TLER schijven betekent dit dat je vaker met corruptie te maken hebt waarvoor een lange rebuild noodzakelijk is. Als je array degraded is, is TLER ook erg gevaarlijk, omdat bad sectors dan vrijwel geen kans op recovery hebben en in zo'n geval je dus een failed array kunt krijgen waar ook ZFS niets meer mee kan. Kortom, bad sectors is en blijft een groot probleem bij hardware RAID, met name schijven met een hoge datadichtheid waar vrij regelmatig pending sectoren bij voorkomen.
• Voor de prijs van een dure RAID controller en BBU en TLER schijven kun je met ZFS je geld beter besteden, aan gewoon meer schijven, meer RAM of SSDs voor acceleratie. Daarbij haal je veel meer winst voor hogere performance dan zo'n controller setup.

Kortom, ZFS is eigenlijk het tegenovergestelde van hardware RAID (de ouderwetse configuratie) en daarbij gelden er hele andere 'wetten' en inzichten.

Punt is gewoon dat ZFS een heel veilige RAID engine heeft en als je dat gaat dwarsbomen door de RAID op een ander niveau gaat laten uitvoeren, dat ZFS dan ook niet meer de bescherming kan bieden die het kán bieden als je ZFS volledige controle geeft. Zo zijn er best wat dingen die fout kunnen gaan bij RAID5 bijvoorbeeld. Ouderwets RAID5 weet de controller/engine ook niet welke data corrupt is en welke niet. Het kan alleen maar zien of de parity gelijk is aan de data, en die controle vindt bovendien ook nooit plaats (je hebt verify mode maar dat is zeldzaam en traag). Bij ouderwets RAID heb je dus silent corruption die naar je applicaties doorvloeit, iets wat bij ZFS nooit zou mogen/kunnen gebeuren door de End-to-End data protection.

[HarmoniousVibe]

Bedankt voor je post, maar ik had het eigenlijk over een controller met BBU in single-disk mode draaien en ZFS of MDADM de raid-logica laten doen. In dat geval gaan je eerste 3 punten en het punt van de TLER/CCTL/ERC-schijven niet op toch?

[ Voor 24% gewijzigd door HarmoniousVibe op 27-11-2011 22:57 ]

[Verwijderd]

Oh zo. Nou het verhaal over TLER gaat dan nog steeds op. Zo ook bij mijn Areca controller. Of je nou single disk arrays gebruikt, passthrough disks of de hele controller in 'JBOD' mode zet... als er bad sectors zijn dan is de disk helemaal verdwenen en moet je hem opnieuw aanmaken of opnieuw opstarten (power cycle). Dat is dus waardeloos!

Maar je hebt dan wel de bescherming van ZFS omdat ZFS alle RAID functionaliteit doet. Maar je levert net iets performance in omdat je hogere latencies hebt (er zit een extra chip tussen ZFS en de disk) terwijl je een klein beetje extra cache hebt (512MB bijvoorbeeld tegenover 16GiB RAM + 80GB SSD L2ARC cache bijvoorbeeld).

Dus het is geen onveilige configuratie meer, maar je schiet er qua performance niet veel mee op en het is gewoon zonde van de hardware; dit soort kaarten moet je gebruiken voor Windows enzo, niet voor ZFS. Dus het kán wel, bijvoorbeeld als je al dit soort hardware hebt. Maar ik zie niet echt voordelen, of althans daar ben ik nog niet zo van overtuigd. Met een BBU kun je write-back aanzetten ja. Maar dat betekent wel dat er reads geblokkeerd worden op het moment dat de buffer vol zitten. Het is gewoon slimmer om ZFS alles te laten doen zonder allerlei lagen die tussen ZFS en de disks zitten.

[Diabolus]

Mijn NAS:
Diabolus in "Storage showoff topic - 10+ TB storage systems"

Net XFS lopen tunen en met dd lopen testen. Beiden TB+ arrays halen ~300 MB/s en trekken makkelijk de gigabit lijnen vol.

Helaas verloopt de array <-> array transfer niet zo snel (~100 ~ 250MB/s). Iemand ideeën? Ik vermoed zelf dat het wel eens aan gefragmenteerde bestanden kan liggen.

[FireDrunk]

Dus van 8 x1TB naar 4x2TB haal je 175MB/s gemiddeld? Dat valt toch wel mee?

Hmm, ik haal op mijn eigen array heen en terug zelfde...

root@NAS:/mnt/data# dd if=file.000 of=file.001 bs=1M count=20480
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 124.641 s, 172 MB/s

[ Voor 61% gewijzigd door FireDrunk op 30-11-2011 13:43 ]

[HarmoniousVibe]

Diabolus schreef op woensdag 30 november 2011 @ 10:48:
Mijn NAS:
Diabolus in "Storage showoff topic - 10+ TB storage systems"

Net XFS lopen tunen en met dd lopen testen. Beiden TB+ arrays halen ~300 MB/s en trekken makkelijk de gigabit lijnen vol.

Helaas verloopt de array <-> array transfer niet zo snel (~100 ~ 250MB/s). Iemand ideeën? Ik vermoed zelf dat het wel eens aan gefragmenteerde bestanden kan liggen.

Weet je zo. Even

xfs_db -c frag -r /dev/$arraynode

draaien.

Hoeft niet als root. Dit geeft aan of je FS daadwerkelijk is gefragmenteerd (hoe lager hoe beter):

actual 64842, ideal 64488, fragmentation factor 0,55%

Met

sudo xfs_fsr

kun je defraggen. Zelf heb ik gewoon xfs_fsr gesymlinked naar cron.daily:

lrwxrwxrwx 1 root root 17 2010-05-06 22:15 /etc/cron.daily/xfs_fsr -> /usr/sbin/xfs_fsr

@FD: Volgens mij bedoelt Diabolus van array1 naar array2. Dat een copy binnen de array niet zo snel gaat is op zich vrij logisch volgens mij.

[ Voor 32% gewijzigd door HarmoniousVibe op 30-11-2011 13:58 ]

[FireDrunk]

Hmm, goed om te weten! Thanks!

root@NAS:/mnt/data# xfs_db -c frag -r /dev/md0
actual 254317, ideal 252090, fragmentation factor 0.88%

Na twee uur xfs_fsr:

root@NAS:/mnt/data# xfs_db -c frag -r /dev/md0
actual 254013, ideal 252091, fragmentation factor 0.76%

Duurt mij te lang

@HV, dat snapte ik, maar ter vergelijking, is mijn array op zichzelf dus even snel als zijn array's naar elkaar.

Dat klinkt niet goed

[ Voor 53% gewijzigd door FireDrunk op 30-11-2011 15:42 ]

[HarmoniousVibe]

0,88% fragmentation is de moeite van het defraggen niet waard

MDADM > hw raid natuurlijk

[Diabolus]

root@Baldr:~# sudo xfs_db -c frag -r /dev/sdb1
actual 34478, ideal 16089, fragmentation factor 53.34%
root@Baldr:~# sudo xfs_db -c frag -r /dev/sdc1
actual 7156, ideal 6839, fragmentation factor 4.43%

Het ziet er dus naar uit dat inderdaad fragmentatie een rol aan het spelen is (Samen met rebuild die op de achtergrond bezig is en die een hoge prioriteit heeft). Het is trouwens wel interessant om te zien hoe groot het verschil in fragmentatie kan zijn tussen een fs die geoptimaliseerd is voor grote bestanden en eentje waarbij de optimalisaties niet aanstaan.

Ik zal xfs_fsr ook in de crontab gooien. Bedankt voor de tip!

[eXisTa]

Ik heb afgelopen weekend en een gedeelte van deze week mijn NAS van een nieuwe OS voorzien. Ik had altijd WHS v1 welke eerder al geupgrade was naar WHS 2011 maar deze heb ik nu geïnstalleerd met OpenMediaVault, een nieuw product gebouwd door 1 man en vervolgens de bron publiek heeft gemaakt. Het is een fork-achtig project van FreeNAS (velen niet onbekend).

Ik moet zeggen dat dit OS me erg meevalt en tot nu toe alles erg lekker draait (benches volgen).
Er zitten 2x 1TB Samsung (F1/F3) schijven als opslag in en 1x 500GB Samsung als OS-schijf.
Verder is het een micro-itx moederbord met een Intel Atom D510 (1.6Ghz) CPU en 4GB aan DDR2 geheugen.

Het grootste punt waar ik even zoet mee ben geweest is de installatie van SABnzbd, Sickbeard en CouchPotato. Met name het feit dat het Debian Squeeze (Linux) is en ik hier weinig tot nog nooit mee had gewerkt heeft me dat aardig wat tijd gekost. Maar tijd loont de moeite blijkt wel want het geheel heeft nog nooit zo responsief gewerkt.

Tot noch toe een aanradertje dus!

[johiem]

Hallo,

Binnenkort ga ik mijn Ubuntu Server NAS herinstalleren, echter kamp ik met de huidige setup problemen die ik in de nieuwe wil voorkomen.

Namelijk ik krijg de file permissions van de users niet goed ingesteld. Files die zijn aangemaakt door bijv. gebruiker 1 kunnen niet worden geopend door gebruiker 2 (Samba).

Na wat zoekwerk op Google kan hier ik niet echt iets goed voor vinden.

Mijn vraag is dus: hebben jullie een goede resource waar ik kan vinden hoe ik dit goed kan instellen?

Alvast bedankt.

[FireDrunk]

De users moeten in dezelfde groep zitten, of de permissies moeten zo ver open staan dat ze er beide bij kunnen.
Zoek even de handleiding van CHMOD, en je leert veel over de permissies.

(man chmod)

[Jormungandr]

Alle users in dezelfde groep en in de samba config eens kijken naar de priv's voor nieuwe files. Afaik staat die optie er wel ergens in.

[FireDrunk]

create mask = 0777 (niet aan te raden)

[johiem]

@FireDrunk en @Jormungandr
Bedankt voor de aanvullende info, hier kan ik zeker mijn research op los laten

[Mafketel]

Johiem je hebt waarschijnlijk meer aan het forceren van de groep van bovenliggende folder. Is zowel een samba optie als een linux optie
Zeker als zoals bij vele distributies de primaire usergroep van iemand dezelfde naam heeft als de user.

[Verwijderd]

create mask 0777 moet je niet doen, dan worden alle files executable. Wat je waarschijnlijk wilt:

create mask 0666
directory mask 0777

Directories moeten namelijk executable zijn, wat inhoudt dat je de inhoud van de directory mag opvragen. Bij files hoort de executable permission uit te staan, behalve voor files die je op de server wilt uitvoeren wat voor een NAS zeldzaam is. Dus die kun je beter op '6' (read+write) laten.

[FireDrunk]

CiPHER heeft helemaal gelijk. Ik heb zelf ook tegenwoordig 0666.

* FireDrunk heeft alzheimer light...

[Sebas77]

Beste allen, ik probeer uit te vinden of ik voor weinig een barebone kan bouwen. Mijn synology ds410 kan mijn nieuwe internet aansluiting (120mb) niet aan. Belangrijkste zaken:
Niet te grote kast, genoeg cpu voor downloads, minimaal 4 schijven, toekomst uitbreidbaar (5-6), en niet al te duur, maar wel toekomstbestendig. Ik denk dat ik windows home server als besturingssysteem ga gebruiken. Als er iemand een lijstje heeft ben ik zeer blij.

[Birdie_NL]

Sebas77 schreef op maandag 05 december 2011 @ 10:45:
Beste allen, ik probeer uit te vinden of ik voor weinig een barebone kan bouwen. Mijn synology ds410 kan mijn nieuwe internet aansluiting (120mb) niet aan. Belangrijkste zaken:
Niet te grote kast, genoeg cpu voor downloads, minimaal 4 schijven, toekomst uitbreidbaar (5-6), en niet al te duur, maar wel toekomstbestendig. Ik denk dat ik windows home server als besturingssysteem ga gebruiken. Als er iemand een lijstje heeft ben ik zeer blij.

Dit heet topic-kapen, je kunt het beste zelf even een nieuw topic aan maken of een post aanmaken in het DIY topic.

[Verwijderd]

brndst schreef op maandag 05 december 2011 @ 10:57:
[...]

Dit heet topic-kapen, je kunt het beste zelf even een nieuw topic aan maken of een post aanmaken in het DIY topic.

Dit is het DIY topic?

[Sebas77]

Goh, wat grappig, ik heb een tijdje geleden een eigen topic gestart en kreeg daar de reactie, dat ik het beste in DIY Nas kon plaatsen, en nu krijg ik de melding dat ik de topic kaap.

[fRiEtJeSaTe]

Ben van plan een goedkope NAS te bouwen, die vooral idle, zo zuinig mogelijk is (elke watt telt).

Config: Gigabyte GA-E350N-USB3 mobo, 8GB mem, 2x 1TB RAID1.
Functies: SabNZBd, films/muziek/backups opslaan.

Nu had ik het idee FreeBSD te installeren, op een CF/SD-kaart of USB-stick. Is dit zinvol m.b.t. idle-wattage? En gaat het werken i.c.m. het parren/rarren van SabNZBd? Waar ik bang voor ben is dat FreeBSD/SabNZBd toch een pagefile ergens wil hebben, omdat het anders retetraag wordt.

Wie heeft hier ervaring mee en kan me in/uit de droom helpen?

[johiem]

@CIPHER en @FireDrunk
Weer bedankt voor de aanvullende info. Staat op mijn lijstje

[Birdie_NL]

Verwijderd schreef op maandag 05 december 2011 @ 11:02:
[...]

Dit is het DIY topic?

OMG, mijn fout.. meerdere vensters en een heel andere reactie door elkaar halen gaat me niet goed af.

Sebas77 schreef op maandag 05 december 2011 @ 11:34:
Goh, wat grappig, ik heb een tijdje geleden een eigen topic gestart en kreeg daar de reactie, dat ik het beste in DIY Nas kon plaatsen, en nu krijg ik de melding dat ik de topic kaap.

Excuses, was heel niet voor jou bedoeld.

[FireDrunk]

Sebas77 schreef op maandag 05 december 2011 @ 11:34:
Goh, wat grappig, ik heb een tijdje geleden een eigen topic gestart en kreeg daar de reactie, dat ik het beste in DIY Nas kon plaatsen, en nu krijg ik de melding dat ik de topic kaap.

Je mag wel iets meer eigen inzet vertonen. Dit is het Do It Yourself topic. Wij zijn hier niet om voor jou een kant en klaar lijstje uit te spugen.

Als je het topic door scant, kan je heeeel wat systeem configuraties tegenkomen die kunnen wat jij wil.
Bedenk goed wat het mag kosten, en wat voor platform je wil. Als je dat eenmaal bedacht hebt, bedenk dan welke eisen er minimaal aan je processor en moederbord moeten zitten.

Maak een groslijst van moederborden die aan deze eisen voldoen, en bekijk dan eens wat reviews over deze moederborden.

Kom je er dan nog niet uit, kan je altijd je lijstje hier posten en vragen welk moederbord het beste geschikt zou zijn.

[_-= Erikje =-_]

Ik draai inmiddels mijn programma's op m'n freenas doos maar niet meer van USB stick, die gingen allemaal 1 voor 1 stuk na een week of 2 :-D dan maar geen spindown

[FireDrunk]

Met een 8G SSD van Kingston verdien je het zelfs terug aan stroomkosten, maar moet je nog wel een SATA poortje vrij hebben

[Jormungandr]

Zijn er mensen die trouwens hashing doen op hun files om evt corruptie tegen te gaan? Ik was laatstleden Flashpoint aan het herbekijken en er waren een aantal EP's met beeldcorruptie (frame skipping, distortion).
Misschien dat er bij het rebuilden van mijn 2+1 mdadm Raid 5 array toch ergens iets tussen geslopen is?

Ik denk aan een scriptje om alle bestanden te hashen en dat in een database bij te houden. Klinkt echter zeer omslachtig.

(Btw, kom NIET af met "zfs kan dat lekker wel blabla" want dat weet ik ook wel)

[Verwijderd]

Als je corruptie een probleem vind, waarom overweeg je dat dan niet? Je kunt inderdaad userland checksums gebruiken. Maar het nadeel hiervan is dat je de corruptie niet kunt corrigeren, dat je continu de checksums moet updaten en dat je alsnog corrupte data aan je applicaties levert. Daarnaast zal corruptie op de metadata tot grote problemen kunnen leiden, in sommige gevallen kun je dan hele directory trees verliezen. Al deze heb je geen last van bij het filesystem wat ik niet mag noemen.

[FireDrunk]

Uh, PAR kan toch gewoon corrigeren? MD5 Checksums niet nee, maar met PAR heb je gewoon repair bestanden. Vaak is 10% genoeg om corruptie tegen te gaan...

[HarmoniousVibe]

Je kunt checken of er echt corruptie is opgetreden door even één corrupte ep opnieuw te downloaden en dan beide hashes even te vergelijken. Wat er aan te doen is; tsja, dat is een ander verhaal.

[FireDrunk]

Net even snel getest, werkt als een trein.

par2create file
dd if=/dev/urandom of=file count=5 conv=notrunc
par2verify file

kapotte file...

par2repair file

fixed...

Zou wel grappig zijn als je hiermee dus een soort ZFS structuur bouwt van checksums van al je (belangrijke) data. Hebben we een scriptkiddie die teveel tijd over heeft?

[dylan0806]

hallo,

ik wil binnenkort mijn nas uitbreiden naar een grotere data storage omdat hij te klein wordt.
ik heb nu een qnap ts-410 en ik denk dat ik een barebone van norco neem met misschien een i3 of i5 processor.
het belangrijkste is media streamen over het netwerk en hetverzamelen van meta data bij films op Windows heb ik een handig programma namelijk Plex maar dat werkt volgens mij niet op linux. ik wil dan ook ernaast op de server een kleine ftp server hosten voor op school bij mijn data te kunnen komen.
nu de vraag aan jullie weten jullie software als vervanging voor plex voor linux want ik heb gehoord dat linux vele malen stabieler en beter draait op een server en zouden jullie een i3 of een i5 adviseren of mischien wat anders als raid controller zat ik te denken aan deze http://tweakers.net/price.../areca-arc-1880ix-24.html mijn budget is ongeveer 2500-3000

[Verwijderd]

FireDrunk schreef op maandag 05 december 2011 @ 20:06:
Uh, PAR kan toch gewoon corrigeren? MD5 Checksums niet nee, maar met PAR heb je gewoon repair bestanden. Vaak is 10% genoeg om corruptie tegen te gaan...

PAR is geen checksum maar pariteit, error correctie versus error detectie dus. Net als ECC error correctie is en CRC alleen error detectie. Alleen de laatstgenoemde is een checksum.

Maar oke, dat is zijn details. Met PAR kun je inderdaad bereiken wat hierboven wordt gezegd. Punt blijft dat je metadata erg gevoelig is voor corruptie en geen enkele bescherming heeft hiertegen. Dus gebruik je geen ZFS dan kun je beter in een goede backup investeren. Ook omdat je geen goede history hebt zoals snapshots in ZFS.

[Loekie]

dylan0806 schreef op maandag 05 december 2011 @ 21:27:
hallo,

ik wil binnenkort mijn nas uitbreiden naar een grotere data storage omdat hij te klein wordt.
ik heb nu een qnap ts-410 en ik denk dat ik een barebone van norco neem met misschien een i3 of i5 processor.
het belangrijkste is media streamen over het netwerk en hetverzamelen van meta data bij films op Windows heb ik een handig programma namelijk Plex maar dat werkt volgens mij niet op linux. ik wil dan ook ernaast op de server een kleine ftp server hosten voor op school bij mijn data te kunnen komen.
nu de vraag aan jullie weten jullie software als vervanging voor plex voor linux want ik heb gehoord dat linux vele malen stabieler en beter draait op een server en zouden jullie een i3 of een i5 adviseren of mischien wat anders als raid controller zat ik te denken aan deze http://tweakers.net/price.../areca-arc-1880ix-24.html mijn budget is ongeveer 2500-3000

Ik raad je aan om toch je even wat meer te verdiepen in de materie van je apps die je wilt gebruiken, Plex heeft prima een Linux server...
Zeker als je nog geen ervaring met linux hebt, kan een readymade distro uitkomst voor je bieden. Aan de andere kant, het is ook geen rocketscience.

[Verwijderd]

En Areca controller voor Linux zou ik niet doen; je kunt dan beter gewoon een HBA nemen zoals IBM M1015 met IT-mode firmware en software RAID draaien; wat prima werkt op Linux platform. BSD met ZFS is nog een stapje omhoog maar in vermoed dat je met Linux makkelijker die software werkend krijgt doordat er meer documentatie beschikbaar is voor dat platform.

[Jormungandr]

Verwijderd schreef op maandag 05 december 2011 @ 20:00:
Al deze heb je geen last van bij het filesystem wat ik niet mag noemen.

De tekst-tussen-haakjes was vooral om 10 "ZFS heeft dat joh" posts te vermijden .

Maar ach, ik ben ZFSguru aan het testen in Vbox maar ben nog niet 100% overtuigd (ben een linux homeboy). Effe 3TB vrije ruimte vinden is niet vanzelfsprekend en alweer veranderen van setup heb ik geen zin.

We'll see, misschien wordt ik wel een ZFS sl*t .

[Verwijderd]

ZFS is best interessant als je je zorgen maakt om corruptie, mijns inziens de beste keus. Een backup wordt zo minder belangrijk: je kunt snapshots gebruiken om tegen virus, perongeluk deleten en andere 'history-corrigeerbare' gevaren af te dekken, en de checksums van ZFS zorgen dat je over corruptie nooit geen zorgen hoeft te maken. Beter nog: het werkt allemaal automatisch. Zodra er corruptie is wordt deze altijd gedetecteerd én gecorrigeerd, zonder er zelf iets voor te hoeven doen. Toch best grote voordelen en hoef je ook niet meer met parren energie te besteden.

Ben wel benieuwd: waar loop je precies tegenaan wat je minder bevalt?

[Jormungandr]

Het feit dat ik me dan weer moet inlezen in BSD en het feit dat een pool niet online kan growen zit me dwars.
Als ik nu met men MDADM array in plaatsnood kom zet ik gewoon met hotspare als data disk erbij en heb ik weer 2TB extra.

Hopelijk gebeurt dat laatste niet vooraleer de prijzen van de HDD's dalen. Naar de winkel moeten hollen omdat je Raid 5 degraded is en daar zwaar voor betalen is geen levensdoel.
(Werk zelf bij EMC en daar zien we regelmatig het nut van spares )

@ Dylan: op Ebay komen regelmatig IBM M1015 (laatst nog voor 100 euro) HBA's voorbij. zijn eenvoudig te flashen naar IT mode en zijn perfect voor ZFS/mdadm.

[Verwijderd]

Het niet kunnen growen is inderdaad wel een beperking van ZFS. Aan de andere kant kun je wel met meerdere disks expanden door een nieuwe vdev aan te maken, wat als voordeel heeft dat je andere capaciteit disks kunt gebruiken en andere RAID levels; iets wat met mdadm en traditioneel RAID weer niet kan. Je kunt dus met een 10-disk 2TB RAID-Z2 beginnen en later een 4-disk 3TB RAID-Z toevoegen, bijvoorbeeld. Daarnaast is het ook volkomen veilig, zonder rebuild wat je array extra kwetsbaar maakt.

Maar je moet zelf afwegen welke voordelen/nadelen zwaarder voor je wegen. Als mdadm bij jou past kun je daar prima bij blijven, althans voorlopig. Maar er is niets op tegen om andere oplossingen zoals ZFS(guru) uit te proberen en kijken wat je bevalt en wat niet. Het verhaal met corruptie is duidelijk een groot voordeel van ZFS, ook met bad sectors waar ZFS eigenlijk helemaal geen last meer van heeft.

[HarmoniousVibe]

Linux kan ook best schijven en/of arrays van andere grootte toevoegen dmv LVM.

Verder vraag ik me altijd af of dat probleem met silent corruption nu echt zo groot is. Ik heb het nog nooit meegemaakt en 99% van de servers, zelfs production grade servers, draaien al jaren prima, en dat zonder ZFS. Ik betwijfel bovendien of de data van de meeste tweakers zo mission critical is .

Niet dat ik iets af wil doen aan het feit dat deze feature erg 'handig' kan zijn, by lack of a better word, maar we moeten de zaken wel in verhouding blijven zien.

Ik heb zelf ook wel eens glichtes gehad in wat AV-materiaal, maar als ik de torrent dan lied rehashen was alles toch altijd oké (behalve dan dat de source of encode glitchy was dus).

[Verwijderd]

Corruptie komt wel voor hoor. Iemand op dit forum ook wiens md array corrupt raakte. Weet even niet meer wie.

Ik heb zelf ook wel eens glichtes gehad in wat AV-materiaal, maar als ik de torrent dan lied rehashen was alles toch altijd oké

Maar dan heb je dus geluk dat de corruptie in een file bevindt, en niet in de metadata. Die metadata is zo belangrijk, wel een kleine kans dat de corruptie zich daarin afspeelt maar als dat zo is ben je f*cked. Corrupte metadata kan fataal zijn. Traditionele filesystems bieden geen enkele bescherming voor de metadata. ZFS gebruikt altijd redundante metadata (ditto copies) ook als je slechts één drive pool hebt.

[HarmoniousVibe]

De metadata wordt gejournaled, wat betekent dat je een dergelijke corruptie altijd met een fsck kunt herstellen. Met ext kun je overigens ook de data zelf journalen, mocht je dat willen.

[Verwijderd]

Een journal is voor de meest recente data. Een journal heeft zelf ook geen redundantie. Corruptie heeft dus vrij spel. Vrijwel alle filesystems (ext2/3/4, NTFS, XFS, JFS, ReiserFS, UFS) bieden geen enkele bescherming voor de belangrijke en fragiele metadata.

Nu is de metadata maar beperkt in omvang. Dus als je ergens corruptie hebt is de kans groter dat deze in data van een file plaatsvindt dan in de metadata. En niet alle corruptie in metadata is fataal. Maar het blijft gewoon een zwak punt van veel filesystems. Ze zijn niet gebouwd op hardeschijven met hoge datadichtheid die af en toe één sector niet kunnen lezen, of bit-rot of problemen met RAID layer of geheugencorruptie waardoor metadata beschadigd raakt.

Wil je écht bescherming voor je bestanden, dan is ZFS dus het beste alternatief. Voor andere filesystems moet je vooral flink inzetten op backups, want RAID enzo doet hier weinig tegen.

[dylan0806]

Dank jullie wel voor de reacties,
Mijn kennis van linux/BSD gaat zo ver dat ik weet hoe je het moet installeren maar daar blijft het bij(FreeNAS geprobeerd voordat ik de qnap kocht).
Ik zat te denken om misschien Windows server 2008 R2 te nemen aangezien ik al aardig wat weet van windows. Of is het vrij gemakkelijk om Linux te leren?
En het "probleem" is dat ik minimaal 5 sas aansluitingen nodig heb voor de hardeschijven.
http://www.norcotek.com/i...goryid=1&modelno=rpc-4220

[ Voor 20% gewijzigd door dylan0806 op 06-12-2011 01:36 ]

[Jormungandr]

Linux heeft mijn inziens een vrij lage instapdrempel mede door de grote community. Vooral distro's zoals Debian/Ubuntu hebben al heel wat packages standaard aan boord (itt Arch Linux bv). Hun userbase is ook zeer uitgebreid dus de kans dat je een probleem tegenkomt waar niemand een antwoord op heeft is klein.
Hetzelfde kan uiteraard ook van BSD gezegd worden, maar ik vind Linux toch net iets makkelijker.

De SAS aansluitingen kan je bekomen door bv een paar IBM M1015 HBA's in te prikken. Ga er wel vanuit dat je dan al bijna een server-grade mobo nodig hebt, want er zijn weinig consumentenborden (zonder fancy overhead) die 3x of 4x PCI-e 8x hebben. 1 HBA + expander is ook mogelijk maar hou rekening met de beperkingen van expanders.

Het grote voordeel van linux/BSD over Windows moet wel de software raid zijn. Exit dure TLER schijven en RAID controllers.

[brederodekater]

Jormungandr schreef op dinsdag 06 december 2011 @ 11:09:
Linux heeft mijn inziens een vrij lage instapdrempel mede door de grote community. Vooral distro's zoals Debian/Ubuntu hebben al heel wat packages standaard aan boord (itt Arch Linux bv). Hun userbase is ook zeer uitgebreid dus de kans dat je een probleem tegenkomt waar niemand een antwoord op heeft is klein.
Hetzelfde kan uiteraard ook van BSD gezegd worden, maar ik vind Linux toch net iets makkelijker.

De SAS aansluitingen kan je bekomen door bv een paar IBM M1015 HBA's in te prikken. Ga er wel vanuit dat je dan al bijna een server-grade mobo nodig hebt, want er zijn weinig consumentenborden (zonder fancy overhead) die 3x of 4x PCI-e 8x hebben. 1 HBA + expander is ook mogelijk maar hou rekening met de beperkingen van expanders.

Het grote voordeel van linux/BSD over Windows moet wel de software raid zijn. Exit dure TLER schijven en RAID controllers.

In welk opzicht is the software RAID functionaliteit van Linux/BSD beter? Of refereer je naar ZFS?

Ik heb zelf jaren lang software RAID onder Windows gedraaid en ik heb hier nooit problemen mee gehad. Zelfs de performance was acceptabel.

[Pi0tr]

Ik had ook nog even een vraagje over de corruptie op RAID:

Is de kans dat bestanden corrupt raken op RAID array niet even groot als de kans dat de data corrupt raakt op een enkele schijf?

[Loekie]

brederodekater schreef op woensdag 07 december 2011 @ 11:26:
[...]


In welk opzicht is the software RAID functionaliteit van Linux/BSD beter? Of refereer je naar ZFS?

Ik heb zelf jaren lang software RAID onder Windows gedraaid en ik heb hier nooit problemen mee gehad. Zelfs de performance was acceptabel.

Software raid of een fabrikant specifieke oplossing als fakeraid van bijv intel, highpoint etc?
Het hoeft geen problemen te geven, maar raid is een oplossing voor als dat wel optreedt, dus doemscenarios en daarop voorbereiden is iets dat eigen is aan dit topic....

[HarmoniousVibe]

Pi0tr schreef op woensdag 07 december 2011 @ 15:29:
Ik had ook nog even een vraagje over de corruptie op RAID:

Is de kans dat bestanden corrupt raken op RAID array niet even groot als de kans dat de data corrupt raakt op een enkele schijf?

Nee. Stel je draait 3 x 2TB raid5, dan mag er gewoon een schijf dood gaan voordat er iets corrupt raakt. Als je met enkele schijven, spanning of concatenation werkt, dan ben je meteen data kwijt als er een schijf uitvalt. In het beste geval de data van de schijf die dood is gegaan en in het slechtste geval alles, bijvoorbeeld omdat er op die drie schijven 1 FS stond, want nu kapot is.

[Megamind]

Alleen als bv de bliksem inslaat of je moederbord je schijven sloopt is alsnog alles weg. RAID5 is reduntie maar geen backup!

[Pi0tr]

HarmoniousVibe schreef op woensdag 07 december 2011 @ 17:27:
[...]

Nee. Stel je draait 3 x 2TB raid5, dan mag er gewoon een schijf dood gaan voordat er iets corrupt raakt. Als je met enkele schijven, spanning of concatenation werkt, dan ben je meteen data kwijt als er een schijf uitvalt. In het beste geval de data van de schijf die dood is gegaan en in het slechtste geval alles, bijvoorbeeld omdat er op die drie schijven 1 FS stond, want nu kapot is.

Misschien ben ik niet helemaal duidelijk geweest, maar de functie van RAID was me wel duidelijk. Alleen hadden ze het voorgaande berichten over data corruptie op een RAID array door bad sectors etc. en dat zfs deze bad sectors automatisch zou repareren. Dus ik vroeg mij af of de kans dat bestanden corrupt raken op een RAID array even groot is als op een enkele harde schijf.

[ Voor 3% gewijzigd door Pi0tr op 07-12-2011 18:13 ]

[johiem]

Ben ik weer. Na een reinstall op een SSD en een schone raid 1, loop ik nu weer tegen problemen aan. Gebruiker A kan een folder/bestand van B niet wijzigen/verwijderen.

Ik heb het volgende gedaan:
- groep aangemaakt en gebruiker A en B hieraan toegevoegd.
- folder chown naar A:groep. (hoofd folder van samba share)
- in samba share de Marks' van CiPHER ingevoegd.

Wat zie ik over het hoofd, alles verloopt trouwens via Ubuntu server 11 en samba.

Johiem

[Verwijderd]

ls -l (lower-case 'L') output van je directory? Heb je het uitgeprobeerd met nieuw beschreven files? Heb je Samba restart na het wijzigen van de config file? Kun je de config file (smb.conf) op een pastebin zetten?

[johiem]

De ls -l output:

drwxr-xr-x 2 joey joey 4096 2011-12-08 08:40 naamloze map
drwxr-xr-x 3 root gezin 4096 2011-12-07 17:05 Network Trash Folder
-rw-r--r-- 1 root root 13978 2011-12-08 08:42 smb.conf
drwxr-xr-x 3 root gezin 4096 2011-12-07 17:05 Temporary Items

Het waren allemaal nieuwe bestanden en mappen, allemaal getest na het aanpassen van samba. De service smbd en nmbd herstart ik na elke config wijziging.

De config file zit op pastebin :http://pastebin.com/JuF8n9TU

Na het opstarten vanochtend van de server kan alleen mijn account (joey) mappen aanmaken, etc. Ik snap er nu niks meer van. Ik heb de groups ook even op pastebin gezit: http://pastebin.com/MwLrSbuw

Alle hulp zou ik erg waarderen.

[FireDrunk]

a) Het is browseable, niet browsable...
b) Het is create mask niet create mode
c) Ik ben zelf niet zo'n fan van hoofdletter gebruik tussen unix en windows, omdat windows mappen met hoofdletters en mappen met kleine letters hetzelfde vind.

[johiem]

@FireDrunk
Bedankt voor de reactie. Paar domme foutjes, zal ze zo meteen even aanpassen. Laat het wel even weten.

EDIT:
Succes! Het is wel handig als ik de hoofdmappen (in de shares) zelf ook chmod naar 770. Heb je aanpassingen meteen maar even doorgevoerd, Bedankt!

[ Voor 41% gewijzigd door johiem op 08-12-2011 10:15 ]

[johiem]

Nu weer een vraag van een totale andere orde, mijn excuses op voorhand.

Ik heb dus in mijn NAS een raid 1 zitten, fakeraid met MDADM. Deze wordt bij boot automatisch gemount.

In mijn mdadm.conf heb ik deze regel:
# definitions of existing MD arrays
ARRAY /dev/md0 level=raid1 num-devices=2 UUID=a78440a7:82ef539f:b225aed1:77a45117

Echter bij herstarten staat de array nu niet meer op /dev/md0, maar op /dev/md127. Wat doe ik hier fout? (de regel komt uit --detail --scan). Na de herstart geeft mdadm --detail --scan:
ARRAY /dev/md/NAS001:0 metadata=1.2 name=NAS001:0 UUID=a78440a7:82ef539f:b225aed1:77a45117

Hoe kan ik dit oplossen?

[Verwijderd]

Draai je Ubuntu?

[johiem]

@neographikal
Ja Ubuntu Server, sorry vergeten te vermelden.

[FireDrunk]

Dat probleem heb ik ook al een keer gehad, heeft te maken met de kernel die van tevoren het device al automatisch opbouwt bij starten van de kernel. Je mdadm.conf heeft er dan niet zoveel meer mee te maken.

Zoek even op mijn posts en je vind volgens mij wel een oplossing.

* FireDrunk zoekt ook even terug.

Sleepie schreef op vrijdag 22 juli 2011 @ 11:58:
[...]

That would have been me

Ik heb heel lang zitten stoeien met die /dev/md127 ellende.

Het blijkt echter toch een soort bug te zijn in de mdadm autodetect.
Je kunt het oplossen door na het aanmaken van de raid een

sudo update-initramfs 

te geven.

@hierboven:
Ik dacht juist (weet de bron helaas niet meer) dat je geen last had van die alignment issues als je geen partities maakt op je disks.
Dat is voor mij ook de reden geweest om dat niet te doen (en volgens mij zijn er velen hier die het zo gedaan hebben in mdamd. Ik meen dat Q ook geen partities heeft).

[ Voor 52% gewijzigd door FireDrunk op 08-12-2011 11:12 ]

[johiem]

@FireDrunk

Je bent een held! sudo update-initramfs -u, heeft mijn probleem opgelost . Bedankt.

[Zware Unit]

Ben bezig met een plan om mijn bestaande server om te zetten van FreeNAS (only), naar vSphere met als VM's een FreeNAS en een OSX omgeving. Hardware draait al een tijdje FreeNAS uber stabiel. Erg tevreden. Maar mijn Mac Mini is verkocht, aangezien de Samsung 40D7000 een ingebouwde Plex app heeft. Bekent dat ik ergens in mijn netwerk een Plex Server moet hangen. Vandaar de overstap naar vSphere.

Hardware:
Intel Xeon E3-1270 Boxed
16 x Western Digital Caviar Green WD10EADS, 1TB (=16TB)
LSI SAS 9201-16i
4 x Hynix HMT351U7BFR8C-H9T0 (=16GB)
Supermicro X9SCM-F
Crucial m4 CT128M4SSD2 128GB (nog aan te schaffen)

Software:
VMware vSphere Hypervisor 5.0 (250MB op SSD)
VM = FreeNAS 8.0.2 (8GB op SSD) ==> AFPD (file server met ZFS op LSI controller en 16 disken)
VM = OSX Lion 10.7.2 (±120GB op SSD) ==> Plex Server

Aangezien ik geen ervaring heb met vSphere graag jullie input of dit gaat werken.

Wat heb ik al geprobeerd:
- vSphere geïnstalleerd op USB stick om te zien of alle hardware in mijn server goed wordt herkend. Alle hardware inclusief LSI controller en netwerkkaarten worden herkend
- Op mijn Mac heb ik al jaren Fusion draaien, dus binnen Fusion een VM aangemaakt met iSphere en daar weer een aantal VM's om geïnstalleerd om te zien hoe het beheer werkt

ps. Dit avontuur is natuurlijk voor de leuk

[FireDrunk]

Leuk avontuur! Haal je een beetje leuke performance met FreeNAS gevirtualiseerd?

[VorCha]

FireDrunk schreef op donderdag 08 december 2011 @ 11:38:
Leuk avontuur! Haal je een beetje leuke performance met FreeNAS gevirtualiseerd?

Ik heb ook mn storage os gevirtualiseerd, weliswaar CentOS 6 ipv. FreeNAS.
Wat me bij mij opvalt is dat niet het OS de performance bepaald maar achter welke aansluiting de daadwerkelijke storage disk hangt. In mijn geval een USB 2 external 3TB disk.

[FireDrunk]

Uiteraard, maar virtualisatie brengt ook een penalty met zich mee, en vooral bij ZFS merk je dat op CPU gebied.
Ben benieuwd of dat 'veel' is.

[Birdie_NL]

Modbreak:

Het forum is niet bedoeld om spullen te verhandelen daar hebben wij vraag & aanbod voor, daarnaast is het forum ook niet bedoeld om reclame te maken wat we/iemand in vraag & aanbod aanbieden.

[ Voor 83% gewijzigd door _Dune_ op 08-12-2011 20:03 ]

[jjwa]

Oid schreef op maandag 31 oktober 2011 @ 22:18:
Momenteel heb ik het volgende systeem

#	Product	Prijs	Subtotaal
1	Intel Gigabit CT Desktop Adapter	€ 23,05	€ 23,05
6	Samsung EcoGreen F4EG HD204UI, 2TB	€ 109,-	€ 654,-
1	Asus P5Q PRO	€ 0,-	€ 0,-
1	Intel Core 2 Quad Q6600	€ 0,-	€ 0,-
2	GeIL GV34GB1333C7DC	€ 0,-	€ 0,-
1	Club3D HD 3450 256MB GDDR2 PCI-E	€ 23,50	€ 23,50
Bekijk collectie Importeer producten		Totaal	€ 700,55

gebasseerd op freebsd met ZFS in RAID-Z2 op een usb stick van 8 GB

Nu wil ik graag wat zuiniger gaan maar geen "snelheids" verlies lijden.

Zou bijv. dit een optie kunnen zijn:

#	Product	Prijs	Subtotaal
1	Intel Gigabit CT Desktop Adapter	€ 23,05	€ 23,05
1	Asus E35M1-I	€ 94,95	€ 94,95
1	Kingston ValueRAM KVR1066D3N7K2/8G	€ 37,90	€ 37,90
Bekijk collectie Importeer producten		Totaal	€ 132,85

Waar ik bang voor ben is dat die moederbord niet genoeg heeft om nog eens de stap te kunnen maken naar bijv. 12x 2 TB of 3TB schijven. Er zijn 6 SATA-600 poorten aanwezig dat is voor nu voldoende, en 1 x16 poort, daar wil ik de Gigabit lan adapter in stoppen.

Nu zat ik te twijfelen met bijv. dit bordje:

#	Product	Prijs	Subtotaal
1	Asus E35M1-M Pro	€ 104,95	€ 104,95

deze heeft echter maar 5 SATA 600 poorten, maar wel 1x x16 en 1x x1 poort zodat ik er dus de Gigabit lan adapter op aan kan sluiten en een SATA controller. Ik heb de pricewatch: Sweex Serial ATA Controller nog liggen, maar dat is maar 150 SATA ipv 600.

Wat is nou de beste keuze? Ik kan er op gokken dat de onboard netwerkkaart van bordje 1 voldoende bandbreedte geeft zodat ik geen stotter krijg ik de films die ik afspeel en in de toekomst een x16 SATA controller met bijv. 8 poorten erbij prikken.

Of kan ik beter gaan voor een pricewatch: AMD A4-3400 Boxed of pricewatch: Intel Core i3 2100 met een bijbehorden volwaardig moederbord?

Ik hoop dat jullie wat advies kunnen geven? Ik heb nu de 6x 2TB in RAID-Z2 staan en ik wil nog een SSD erbij voor cache e.d.

Ik vroeg mij bij deze post af wat voor behuizing je hebt of van plan bent te gebruiken?

Ik had zelf namelijk dat ik in één klap flink mijn aantal SATA poorten ging uitbreidde, maar mij daarna pas besefte dat er helemaal niet zo veel HDDs in mijn kast passen. En een kast (dat niet meteen een rack-geval of Norco monster is) waar meer dan 10 a 12 HDDs in kunnen (ruimte verkregen dmv 4-in-3 bakjes al meegerekend) die aan al mijn eisen voldeed (er moet bijvoorbeeld ook gewoon nog een game-systeem met grote videokaart in passen en stil kunnen zijn) kon ik niet zo snel vinden voor een prijs van onder de 250 euro.

[Verwijderd]

Reagerende op Oid, je wil teveel schijven voor een Brazos platform. Ook met L2ARC cache erbij enzo; heb je gewoon meer nodig dan 8GiB RAM. Dus kijk eens naar een Intel bordje met 6 SATA/300 met normaal PCI-express poort voor een extra IBM M1015 controller en 4 reepjes 4GiB RAM dus 16GiB geheugen (60 euro).

Heb je die Intel controller echt nodig? Als je een Mini-ITX bord neemt heb je maar één addon slot en die wil je voor een extra controller gebruiken. Je moet NOOIT PCI gebruiken; dus zo'n flut silicon image SiI-3114 kaartje is echt uit den boze, zeker voor ZFS. Je SSD kun je het beste op je onboard controller aansluiten, dus je hardeschijven op de addon controller. Je kunt addon en onboard prima mixen.

[K4F]

Na een poos een set WD20ears greens met mdadm in raid 1 gedraaid te hebben begint het te kriebelen om groter te gaan. In principe zijn de prestaties uitmuntend, echter worden er op dit moment geen pariteitsberekeningen gedaan terwijl dit onoverkomelijk is als er schijven bij komen. Ik ben niet overtuigd van raid 10 en mijn avontuur met ZFS was wat traag en liep helemaal fout met deze schijven destijds. Nu is deze bak geen dedicated fileserver dus wil ik alle xor's niet aan de cpu over laten als dit even kan.

TLER is op het eerste gezicht een gemis bij hw raid maar 3 of 4 vervangende schijven halen in deze tijden is not-done.
Nu lees ik hier en daar dat er diverse raid controllers zijn (enkele lsi's) welke het toelaten om zo ingesteld te worden dat schijven langer de tijd krijgen hun ding te doen bij lees of schrijf errors waar normaal gesproken TLER in zou grijpen. Er is zeer weinig over te vinden over het instellen van de "timeout values", of ik zoek met de verkeerde termen, maar nu is mijn vraag of er mensen zijn die hier ervaring mee hebben. Is een storage opstelling zoals deze afdoende voor thuis en is hiermee een hoop gezeur met het herinit'en van arrays te voorkomen?

[FireDrunk]

MDADM heeft niet zoveel last van TLER als een HW RAID controller dat heeft. MDADM is wat dat betreft veel coulanter. RAID5 is wat dat betreft prima te doen met MDADM.

XOR kan je prima door je CPU laten doen, dat kost het ding amper werk, tis maar wat je ermee doet...
Wil je > 300MB/s, dan zal je CPU er wel voor moeten werken ja, maar dat ding koop je toch niet om hem niks te laten doen?

[K4F]

FireDrunk schreef op zaterdag 10 december 2011 @ 23:28:
MDADM heeft niet zoveel last van TLER als een HW RAID controller dat heeft. MDADM is wat dat betreft veel coulanter. RAID5 is wat dat betreft prima te doen met MDADM.

XOR kan je prima door je CPU laten doen, dat kost het ding amper werk, tis maar wat je ermee doet...
Wil je > 300MB/s, dan zal je CPU er wel voor moeten werken ja, maar dat ding koop je toch niet om hem niks te laten doen?

Ik zal toegeven dat ik stiekem wel aan het kijken was naar lacp ondersteundende switches en dual nic kaarten . Wat je inderdaad overal leest is dat MDADM, of laten we zeggen software raid, een stuk betrouwbaarder is voor deze schijven. Het is ook niet zo gek aangezien je veel meer controle hebt over het gedrag van de array. Ik neig nog wat naar een controller maar ga toch eens een testbakkie opzetten om raid 5 eens te testen met mdadm.

[Verwijderd]

Je moet geen RAID controller kopen maar een HBA (non-RAID controller). Zoals de IBM M1015 en dan flashen naar IT-mode firmware.

[FireDrunk]

Precies, of een LSI 1068E, ook een prima controller voor IT mode.
* FireDrunk heeft hem

[ Voor 21% gewijzigd door FireDrunk op 11-12-2011 01:14 ]

[johiem]

Ik heb weer een probleem.

Mijn RAID 1 (MDADM) doet de hele tijd raar, na een paar reboots raakt deze degraded. Terwijl ik hiervoor nooit problemen mee heb gehad (na reinstall van ubuntu server).

Ik heb MDADM weggegooid en alles opnieuw ingesteld (Raid array weg, geformatteerd, etc). Maar ik houdt dit rare probleem.

Heeft iemand een idee hoe ik dit verder kan onderzoeken en wat de oorzaak er van kan zijn? Het is telkens dezelfde HDD (tevens de eerste). Ik wordt er zelf een beetje gek van.

[FireDrunk]

Kun je eens wat logs posten over wat er vlak voor (en na) het moment gebeurt dat de array klapt?

[johiem]

@FireDrunk
Waar moet ik deze logs weghalen? En welke bedoel je precies?

De array blijft nu in de degraded state, tenzij ik hem ga rebuilden.

[FireDrunk]

cat /var/log/* | grep md

cat /var/log/* | grep /dev/hd

cat /var/log/* | grep /dev/sd

[johiem]

@FireDrunk
Bedankt voor de reactie trouwens

Heb het even op paste bin gezet:

md
http://pastebin.com/AneBRzUH

hd
gaf geen output

/dev/sd
http://pastebin.com/2ncKQJXS

Ik zie dat er veel commando's inzetten van mijn log script (mdadm --detail, hddtemp, etc).

Schijf is degraded vanmiddag rond 16:30 / 16:45 en vandaag nog een keer eerder, gisteravond.

Bedankt alvast.

[FireDrunk]

Waarom heb je dit gedaan?

COMMAND=/sbin/mdadm --manage /dev/md0 --fail /dev/sdb1

Om je array weer op te bouwen nadat hij hem kwijt is, zou ik geen --create gebruiken, maar --assemble

[ Voor 38% gewijzigd door FireDrunk op 13-12-2011 17:44 ]

[johiem]

Ik had wat research gedaan op internet, vondt ik een stappen plan. Dit was nadat de raid zelf al een degradedevent had gegeven.

Alle data is toch weg, dus was opnieuw begonnen. Toen na de tijd ook weer degraden

[Verwijderd]

Zelfde probleem met RAID5 gehad met mdadm. Toen overgestapt op ZFS en inderdaad op elke schijf 4 dooie sectoren: geen enkel probleem, draait net zo vrolijk door. Ergo, kijk eens naar FreeBSD/ZFS

[johiem]

Ik heb gekozen voor Ubuntu, omdat ik na wat research erachter ben gekomen dat ZFS meer vereiste van de hardware. Of zie ik dit verkeerd?

Systeem:
- Asus M5A78L-M
- OCZ ModXStream Pro 500 Watt
- AMD Athlon II X2 250
- 2 x Kingston ValueRAM DDR3 (2GB)
- 2 x Samsung Spinpoint Ecogreen 2TB
- 1 x Kingston SSDNow 16GB
En dat alles in een Fractal Design Define Mini.

Mvg,

J Hiemstra

EDIT: Desalniettemin blijf graag eerst even bij Ubuntu Server

[ Voor 7% gewijzigd door johiem op 13-12-2011 17:57 ]

[FireDrunk]

ZFS vraagt zeker wat meer, maar jou hardware trekt dat wel...
Ik denk niet dat het aan bad sectors ligt maar om het uit te sluiten zou je je disks vol kunnen schrij en

Let op: Niet gebruiken als je niet weet wat je doet.

dd if=/dev/zero of=/mnt/[jouwmountpoint]/big.000 bs=1m count=99999999

Wacht tot je een foutmelding krijgt met Device is full, en delete daarna de file.
Daarna zou je in de logs wel wat moeten zien als er bad sectors zijn.

Je kan uiteraard allemaal shady tooltjes gaan installeren die je disks op bad sectors testen, maar dat vertrouw ik persoonlijk niet zo... als je dit niet aan durft kan je het beste de testsoftware van de fabrikant van je disks draaien..