Het grote DIY RAID NAS topic deel 3

[OcGuru]

Ik draai nu een tijdje een Nas met een opteron 148 en 2gb mem. Nu heb ik een tijdje geleden ook een P4 Presscott 3.0Ghz HT(S478) gekregen. Nu was ik aan het twijfelen welke nu de best overall performance heeft. Qua stroomgebruik maak het niet uit(85,6w vs 89w).

[voodooless]

mphilipp schreef op zaterdag 25 september 2010 @ 12:38:
Waarom neem je dat zomaar aan?

Omdat dat precies hetgeen is dat 9 van de 10 keer gedaan wordt. Ben dus ook blij dat dat nu anders gedaan is.

deze test is redelijk serieus te noemen met 8 disks.

Helaas is ook hier heel veel op aan te merken! Waarom heeft de machine maar 1GB memory? Voor ZFS is dat echt niet optimaal. Waarom worden er default parameters gebruikt voor XFS en ZFS? ZFS is out-of-the box lang niet optimaal.

Verder is er duidelijk wat mis aan het hele plaatje. 50MB/sec met 6 disks in RAID 10 is gewoon bullshit... en strookt zeer zeker niet met hetgeen je bij andere bronnen kan vinden.

[mphilipp]

voodooless schreef op zondag 26 september 2010 @ 19:17:
[...]
Helaas is ook hier heel veel op aan te merken! Waarom heeft de machine maar 1GB memory? Voor ZFS is dat echt niet optimaal. Waarom worden er default parameters gebruikt voor XFS en ZFS? ZFS is out-of-the box lang niet optimaal.

Verder is er duidelijk wat mis aan het hele plaatje. 50MB/sec met 6 disks in RAID 10 is gewoon bullshit... en strookt zeer zeker niet met hetgeen je bij andere bronnen kan vinden.

Tsjaa...weetikveel...er zal op elke benchmark wel wat aan te merken zijn. Benchmarken is het moeilijkste dat er is. Ook het interpreteren van de resultaten. Ik kan het moeilijk beoordelen want ik ben geen fs expert, maar een arme Oracle boer. Als de situatie voor elk systeem hetzelfde is, geeft het volgens mij een redelijk beeld. Elk FS kun je tot in de puntjes tweaken, en ik wed dat een EXT4 specialist er ook wel weer eea uit kan persen. Zo erg zal het wel niet zijn.
Als dit de uitkomst is, dan is dat gewoon de uitkomst. Je kunt een benchmark niet zomaar terzijde schuiven omdat de uitkomst je niet aanstaat. Of moeten ze 'm net zolang doen totdat ZFS bovenaan staat? Dan zijn de EXT4 aanhangers weer ontevreden.

Ik zeg niet dat het waar of niet waar is, maar ik geloof dat je nooit het antwoord gaat vinden wat nou beter of sneller is. En ik ga niet 2 systemen opbouwen om het uit te testen. ZFS vind ik persoonlijk geen optie. Ik ga Ubuntu gebruiken en zolang er geen kant en klaar verhaal ligt om het daarop te installeren begin ik er niet aan. Volgens mij is Ext4 geen slechte optie. Ik zal tzt wel wat posten over de performance.

[edit]
Ooopss...ik dacht dat ZFS niet beschikbaar was voor Ubuntu. Was dus een oud verhaaltje dat ik las. Ik zal er eens naar kijken en zien of ik wat ervaringen naar boven kan halen.

[ Voor 5% gewijzigd door mphilipp op 26-09-2010 22:06 ]

[Q]

mphilipp schreef op zondag 26 september 2010 @ 22:04:
[...]
Volgens mij is Ext4 geen slechte optie.
[edit]
Ooopss...ik dacht dat ZFS niet beschikbaar was voor Ubuntu. Was dus een oud verhaaltje dat ik las. Ik zal er eens naar kijken en zien of ik wat ervaringen naar boven kan halen.

ZFS voor Linux is alleen via FUSE, ik weet niet of je dat moet willen voor iets wat 100% betrouwbaar en stabiel moet zijn.

EXT4 heeft dus een 16 TB limiet, kom je daar niet aan dan geen punt. Is een limiet van de tools, niet van het FS.

De enige prima optie voor 1 groot FS groter dan 16 TB is XFS.

[mphilipp]

Q schreef op zondag 26 september 2010 @ 23:38:
[...]
EXT4 heeft dus een 16 TB limiet, kom je daar niet aan dan geen punt. Is een limiet van de tools, niet van het FS.

Nee, EXT4 heeft geen 16Tb limiet:

The ext4 filesystem can support volumes with sizes up to 1 exabyte and files with sizes up to 16 terabytes. The current e2fsprogs can only handle a filesystem of 16 TB, but support for larger drives is under development.

Men is dus aan het werk om dat probleem op te lossen. Als ik trouwens koekel kom ik dit tegen:

E2fsprogs 1.41.11 (March 14, 2010)
E2fsck will no longer give a fatal error and abort if the physical device has been resized beyond 2**32 blocks. (Addresses Launchpad Bug: #521648)

Dat slaat dus op deze bug:
521648
Aan het commentaar te zien is dat de beruchte 16Tb toestand. Is het hiermee opgelost?

[voodooless]

mphilipp schreef op zondag 26 september 2010 @ 22:04:
Tsjaa...weetikveel...er zal op elke benchmark wel wat aan te merken zijn. Benchmarken is het moeilijkste dat er is.

Zeker

een arme Oracle boer.

Dat blijft ook als je ZFS niet gaat supporten

Als dit de uitkomst is, dan is dat gewoon de uitkomst. Je kunt een benchmark niet zomaar terzijde schuiven omdat de uitkomst je niet aanstaat. Of moeten ze 'm net zolang doen totdat ZFS bovenaan staat? Dan zijn de EXT4 aanhangers weer ontevreden.

ZFS hoeft niet bovenaan te staan, maar het is gewoon heel duidelijk dat er hier getest is met een systeem dat zeer zeker niet optimaal was. En daarnaast is er overduidelijk wat vreemds aan de hand. We hebben ook ooit met een Adaptec in Linux getest met diverse filesystemen. Performance was gewoon dramatisch slecht, wat je ook uithaalde. Uiteindelijk bleek dat de Adaptec driver in de Linux kernel gewoon fucked up was. Als ik met die config de zelfde test had gedaan als uit je linkje, was er precies het tegenovergestelde beeld uit gekomen. Net zo fout, en net zo waardeloos (behalve dat we nu weten dat we geen Adaptec i.c.m Linux gebruiken)

Ik zeg niet dat het waar of niet waar is, maar ik geloof dat je nooit het antwoord gaat vinden wat nou beter of sneller is.

Daar heb je helemaal gelijk in. Het is heel erg afhankelijk van heel erg veel factoren, en uiteindelijk moet iedereen eruit pikken waar hij zelf het meeste mee kan.

[Dadona]

Q schreef op zondag 26 september 2010 @ 23:38:
[...]


ZFS voor Linux is alleen via FUSE, ik weet niet of je dat moet willen voor iets wat 100% betrouwbaar en stabiel moet zijn.

Dat is niet de enige manier: nieuws: Indiaas bedrijf bouwt native zfs-kernelmodule voor Linux
(Hoewel ik positief tegenover ZFS heb ik wel wat reservering ten opzichte van dit initiatief, kun je er vanuit gaan dat er support blijft voor het project, of niet?)

[x-RaY99]

Enige dagen geleden heb ik de eerste stap gezet naar een test met Linux icm 2 Adaptec 2405's.
Voorlopig valt het ietwat tegen, dat zal deels aan de gebruikte distro (Openfiler) liggen en deels aan de controllers welke ik met JBOD gebruik.

De snelheid is goed, gbit is makkelijk vol te trekken met 6x750GB in Raid-6. Maar dat is met de P400 van HP ook het geval.

Daar het wat oudere schijven zijn had ik na 1 dag al een probleem met 1 schijf, deze reageerde niet meer en de array was degraded. Overigens nog steeds prima snelheden.
Maar nu, schijf eruit gepakt (hot swap enclosure) en andere er voor terug. Juist, zo werkt het niet dus.
Als verwende windows en hardware raid user verwachte ik een automatische rebuild.

Aangezien de controller op JBOD stond ingesteld moest dit ook voor de nieuwe schijf gedaan worden, even het systeem gereboot en de schijf op JBOD ingesteld en geïnitialiseerd. Openfiler herkende de schijf maar nog steeds geen rebuild. Schijf ingesteld als raid-member, nog steeds geen rebuild.
Schijf toevoegen als member of spare lukt ook niet... toch nog maar eens wat How-to's doorlezen.

Voorlopig heb ik mijn oog laten vallen op een Adaptec 5805 (of Areca variant), 8 ports dus.
Hieraan wil ik mijn huidige 3 enclosures knopen en een nieuwe 4e. De enclosures zijn voorzien van expanders en consumeren beide 2x sata aansluitingen, kan dus precies. Zo kan ik in totaal 24 schijven aansturen van 2TB.
De kaart wil ik prikken op een ION330 moederbordje (toch nog wat energie besparing ) in een nog te ontwerpen kast. Waarschijnlijk draaiend onder windows en hardware raid...

Ja maar, en de software raid dan? Deze fileserver zal een hoop 'vervangbare' data huisvesten, maar ik schat op 1/3 'belangrijke' data. Deze moet dus gebackuped worden. Daar hoop ik de software raid voor te gaan gebruiken in combinatie met de 2405's of de P400.

[mphilipp]

De onderdelen voor mijn Nassie Speciaal zijn bijna allemaal binnen. Vrijdag komen schijven en mobo. Ik heb besloten dat ik 'de gemeenschap' maar wat ga helpen door XFS en EXT4 te gaan proberen.

Het systeem krijgt een AMD X4 processor, 2Gb geheugen en de RAID5 array ga ik aansluiten op een Highpoint RocketRAID 2680. Ik definiëer de array in de RocketRaid kaart uiteraard, en ik installeer Ubuntu en formatteer dan de volume die de array mij presenteert eerst met EXT4 en ga dan wat tests doen en daarna met XFS, waarna ik de tests herhaal.

In het systeem komen ook 5 500Gb schijven die ik in RAID0 plaats en een andere disk als systeemschijf. Die komen alle drie op het mobo. Ik kiep een paar honderd Gb aan muziek en wat films naar de RAID0 volume en kopieer die dan naar de RAID5 array (dat is trouwens ook waarvoor ie voornamelijk gebruikt gaat worden). Zo sluit ik netwerk issues uit. Ook kan ik wat benchmark programma's erop loslaten. Die moeten dan niet te ingewikkeld zijn qua setup, want ik heb niet zo'n zin om 3 dagen bezig te zijn met het inrichten van zo'n test.

Voordat ik dit allemaal ga uitvoeren heb ik wat vragen:
* wat is een beetje leuke stripesize voor een RAID5 array van 6x2Tb?
* iemand tips voor parameters tbv XFS en EXT4? Moet ik daar iets speciaals voor instellen?
* overige Linux tweaks die handy zijn voor zo'n NAS?

Ik zag in een andere test een aantal benchmarks:
* bonnie++
* dd if=/dev/zero of=bigfile bs=1048576 count=4096
* randomio bigfile 10 .25 .01 2048 60 1
* postmark 1, 10, and 100
* ffsb read, write, mixed, and huge

Als ik er deze doorheen ros, samen met mijn copy actie, is iedereen dan tevreden?

[Dadona]

Hoezo de

ik definiëer de array in de RocketRaid kaart uiteraard

als je Ubuntu als OS neemt. In dat geval kun je toch voor software raid gaan. Voordeel is dat je dan niet meer zo afhankelijk bent van je kaart, gaat die kapot dan ben je vrij om een andere kaart erin te schoppen. (Moet je de schijven ook niet initialiseren in de Highpoint!)

[Q]

Dadona schreef op woensdag 29 september 2010 @ 21:04:
Hoezo de
[...]
als je Ubuntu als OS neemt. In dat geval kun je toch voor software raid gaan. Voordeel is dat je dan niet meer zo afhankelijk bent van je kaart, gaat die kapot dan ben je vrij om een andere kaart erin te schoppen. (Moet je de schijven ook niet initialiseren in de Highpoint!)

Je moet de schijven als JBOD per stuk initialiseren, want ander ziet het OS die schijven niet helaas.

Maar de Linux Software RAID implementatie is flexibeler en qua performance beter dan de Highpoint eigen drivers, dus gebruik die kaart gewoon als een domme kaart met veel SATA poorten, veel fijner.

[Dadona]

Ik heb destijds de schijven in legacy mode gedraaid, maar misschien gaat dat niet op voor een minisas-sata kaart? Ik meende tenminste dat je met initialisatie als JBOD te maken hebt met een file, header, ...whatever die de Highpoint neerzet. Of heb je een testje gedaan waarbij je de harde schijf hebt aangesloten op een andere kaart / direct op het moederbord? Het gaat mij dus om de afhankelijkheid van de kaart, niet software raid op zich, want dat kan inderdaad prima met JBOD.

[ Voor 69% gewijzigd door Dadona op 29-09-2010 22:51 ]

[Q]

mphilipp schreef op woensdag 29 september 2010 @ 20:08:

Voordat ik dit allemaal ga uitvoeren heb ik wat vragen:
* wat is een beetje leuke stripesize voor een RAID5 array van 6x2Tb?
* iemand tips voor parameters tbv XFS en EXT4? Moet ik daar iets speciaals voor instellen?
* overige Linux tweaks die handy zijn voor zo'n NAS?

Ik zag in een andere test een aantal benchmarks:
* bonnie++
* dd if=/dev/zero of=bigfile bs=1048576 count=4096
* randomio bigfile 10 .25 .01 2048 60 1
* postmark 1, 10, and 100
* ffsb read, write, mixed, and huge

Als ik er deze doorheen ros, samen met mijn copy actie, is iedereen dan tevreden?

Kijk hier even, zo kun je je eigen software RAID setup goed benchen:

http://louwrentius.blogsp...-benchmarking-script.html

Met dit script heb ik mooie grafiekjes gemaakt zoals



Hij bencht wel sequentiele snelheden, geen random IO. Dus als dat laatste belangrijker is, kijk dan ook naar sysbench oid. of fio.

[ Voor 6% gewijzigd door Q op 29-09-2010 23:00 ]

[mphilipp]

Q schreef op woensdag 29 september 2010 @ 22:45:
[...]
Maar de Linux Software RAID implementatie is flexibeler en qua performance beter dan de Highpoint eigen drivers, dus gebruik die kaart gewoon als een domme kaart met veel SATA poorten, veel fijner.

En waarom is de performance van software raid beter dan die van die kaart? Heb je daar een test van oid? Ik ga dat niet zomaar voetstoots aannemen.

[lampie1979]

Je kan het ook zelf testen , zo gebeurd.

Wat Q zegt is waar, vaak is het idd (als er gebrui kwordt gemaakt van een snelle x86 processor) dat software raid sneller is, zowel doorvoer, IO als rebuilden.

Zeker goedkope raid kaarten (zoals de Highpoint die jij hebt aangeschaft) deze hebben weinig tot geen geheugen en een marginale processor.

Vind persoonlijk dat het argument "als je kaart kapot gaat dan" een beetje loos. Dan koop je een nieuwe van hetzelfde merk. A merken voeren heeeel lang een serie kaarten, 2e halte is tweedehands en anders een nieuwere versie aanschaffen (downwards compatible). hardware raid heeft ook tal van voordelen t.o.v. software.

Enige oplossing is gewoon backuppen. Raid is geen backup

[ Voor 39% gewijzigd door lampie1979 op 30-09-2010 15:49 ]

[mphilipp]

lampie1979 schreef op donderdag 30 september 2010 @ 15:36:
Je kan het ook zelf testen , zo gebeurd.

Wat Q zegt is waar, vaak is het idd (als er gebrui kwordt gemaakt van een snelle x86 processor) dat software raid sneller is, zowel doorvoer, IO als rebuilden.

Zeker goedkope raid kaarten (zoals de Highpoint die jij hebt aangeschaft) deze hebben weinig tot geen geheugen en een marginale processor.

Punt is alleen dat de performance dan afhankelijk is van wat de cpu op dat moment allemaal te doen heeft. Ik heb dan wel een quadcore gekozen, naar als ik met sabnzb iets aan het gedownload heb en dat moet worden ge-unrard/parcheck enzo, is ie daar ook een beetje druk mee. Blijft er dan nog voldoende prik over om de CRC's te berekenen? De performance is zo dus niet constant.

Ik heb ook al eea gegoogled, en zie idd dat de host CPU beter zou zijn (ie software raid). Maar benchmarks tonen alleen een systeem dat exclusief voor RAID/NAS wordt ingezet. From there. Kloppen die cijfers nog steeds als het systeem ook andere dingen aan het doen is?

[Q]

mphilipp schreef op donderdag 30 september 2010 @ 16:04:
[...]

Punt is alleen dat de performance dan afhankelijk is van wat de cpu op dat moment allemaal te doen heeft. Ik heb dan wel een quadcore gekozen, naar als ik met sabnzb iets aan het gedownload heb en dat moet worden ge-unrard/parcheck enzo, is ie daar ook een beetje druk mee. Blijft er dan nog voldoende prik over om de CRC's te berekenen? De performance is zo dus niet constant.

Ik heb ook al eea gegoogled, en zie idd dat de host CPU beter zou zijn (ie software raid). Maar benchmarks tonen alleen een systeem dat exclusief voor RAID/NAS wordt ingezet. From there. Kloppen die cijfers nog steeds als het systeem ook andere dingen aan het doen is?

Het probleem met 'andere dingen doen' ligt bij je schijven, niet bij je CPU. RAID pakt per array 2 Cores. Dus met NZB wil je dan wel een quadcore.

Als je een unrar / par etc doet tijdens je rebuild, dan duurt je rebuild logisch. Hardware of software controller maakt niet uit.

Als je meerdere dingen tegelijk wilt doen op een array dan ga je eerder tegen de beperkingen van 7200 of 5400 RPM schijven met hun beperkte IO aanlopen dan aan het hw vs sw raid verhaal.

[Dadona]

Q schreef op donderdag 30 september 2010 @ 23:15:
[...]
RAID pakt per array 2 Cores. Dus met NZB wil je dan wel een quadcore.

Quadcore? Quadcore Atom (2+2) dan neem ik aan? Hoe groot is de array? Ga jij standaard uit van een rebuild ofzo? Zo'n rebuild of check komt hier beperkt voor (eens in de zoveel tijd een automatische check) en daar ga ik dan niet speciaal zwaardere hardware nemen, kwestie van plannen.
Je reactie is hier wat kort door de bocht lijkt mij, want om meteen een quadcore aan te bevelen voor NZB?? De harde schijven zijn veel sneller de bottleneck en daarnaast vraag ik mij af wat je aan het afvoeren bent als je al twee cores 'kwijt' bent.

[ Voor 20% gewijzigd door Dadona op 30-09-2010 23:27 ]

[Q]

Dadona schreef op donderdag 30 september 2010 @ 23:25:
[...]
Quadcore? Quadcore Atom (2+2) dan neem ik aan? Hoe groot is de array? Ga jij standaard uit van een rebuild ofzo? Zo'n rebuild of check komt hier beperkt voor (eens in de zoveel tijd een automatische check) en daar ga ik dan niet speciaal zwaardere hardware nemen, kwestie van plannen.
Je reactie is hier wat kort door de bocht lijkt mij, want om meteen een quadcore aan te bevelen voor NZB?? De harde schijven zijn veel sneller de bottleneck en daarnaast vraag ik mij af wat je aan het afvoeren bent als je al twee cores 'kwijt' bent.

Sorry, ik zat met mijn array in gedachten, maar dat is bullshit voor 99% van de mensen. Een dual-core cpu zal wel genoeg zijn. Alleen grote arrays zullen last hebben van te kort cpu?

[lampie1979]

mphilipp schreef op donderdag 30 september 2010 @ 16:04:
[...]

Punt is alleen dat de performance dan afhankelijk is van wat de cpu op dat moment allemaal te doen heeft. Ik heb dan wel een quadcore gekozen, naar als ik met sabnzb iets aan het gedownload heb en dat moet worden ge-unrard/parcheck enzo, is ie daar ook een beetje druk mee. Blijft er dan nog voldoende prik over om de CRC's te berekenen? De performance is zo dus niet constant.

Ik heb ook al eea gegoogled, en zie idd dat de host CPU beter zou zijn (ie software raid). Maar benchmarks tonen alleen een systeem dat exclusief voor RAID/NAS wordt ingezet. From there. Kloppen die cijfers nog steeds als het systeem ook andere dingen aan het doen is?

Zou me er ni zo druk over maken. Die X4 is in mijn optiek voldoende voor een normale "thuis" setup. Sabnzb lust wel een slok, maar zal het geheel niet dichttrekken. Een rebuild en parren/unpacken zal andere koek zijn. In mijn optiek is je setup voldoende krachtig. Zou zeggen draai ff een bench als je alles compleet hebt.

[mphilipp]

lampie1979 schreef op vrijdag 01 oktober 2010 @ 00:36:
[...]
Zou me er ni zo druk over maken. Die X4 is in mijn optiek voldoende voor een normale "thuis" setup. Sabnzb lust wel een slok, maar zal het geheel niet dichttrekken. Een rebuild en parren/unpacken zal andere koek zijn. In mijn optiek is je setup voldoende krachtig. Zou zeggen draai ff een bench als je alles compleet hebt.

Vergis je niet in sabnzb. Ik heb een 120Mb Sicko verbinding en sabnzb bracht mijn huidige NAS compleet op zijn knieën. Het is welliswaar een simpel ding (ik dacht een P4@3Ghz), maar toch...

Ik probeer wel eea. Ik zal wel eens beginnen met een test van softraid en daarna kijken wat die hardware doet.

Als iemand nog tips heeft vwb setup, eventuele parameters die ik zeker wel/niet moet gebruiken, spui ze aub!

[lampie1979]

Draai zelf ook sabnzbd op me nas (e8400) en dat gaat uistekend. Gezien jij een X4 hebt en software raid schat ik zo in dat dit prima te doen is.

[DJ-Promo]

Ik draai met een AMD singel core. Dit is dus een flinke bottleneck? Ik draai nu met ZFS ( 6 disken ).
Dit gaat binnenkort naar 3 disken met Ubuntu Server en software raid 5.
Misschien maar het hele system update ( mobo + cpu )?

[Dadona]

Als je de hardware al hebt, waarom controleer je dan niet de load? Daarnaast moet je ook bedenken of het wel een probleem is als je af en toe een queue hebt. Er is altijd wel ergens een bottleneck, maar zolang de primaire zaken responsief blijven en het niet stoort, waarom dan de zaak niet laten? Is het nu echt boeiend of de download nu of over een half uur binnen is?
Ik heb een tijd lang met een Athlon 2650e (is een singlecore met een beperkte topsnelheid) gedraaid als download, email, ftp, ... server. Dat ging prima.

[ Voor 17% gewijzigd door Dadona op 01-10-2010 17:22 ]

[mphilipp]

Dadona schreef op vrijdag 01 oktober 2010 @ 17:20:
Als je de hardware al hebt, waarom controleer je dan niet de load? Daarnaast moet je ook bedenken of het wel een probleem is als je af en toe een queue hebt. Er is altijd wel ergens een bottleneck, maar zolang de primaire zaken responsief blijven en het niet stoort, waarom dan de zaak niet laten? Is het nu echt boeiend of de download nu of over een half uur binnen is?

Zolang de boel niet stagneert is het idd niet erg. De boel moet niet in elkaar zakken als ik een paar Gb aan het downloaden ben (en aansluitend uitpakken enzo) terwijl ik een filmpje aan het kijken ben natuurlijk. Dat is/was dus een beetje mijn zorg.

Punt is dat er heel erg veel geroepen wordt en dat ik daar de zin en de onzin tussenuit moet filteren. Iemand die een 120Mb schijf in een meterkast heeft zitten en dat helemaal toppiejoppie vindt, is bv niet erg relevant. En het moet ook nog enigszins betrekking hebben op/vergelijkbaar zijn met mijn situatie.
Maar goed, ik heb huiswerk voor komend weekend. De spullen liggen klaar; het wordt snel eten en aan de slag...

[lampie1979]

Je hebt iig goede spullen gekozen. Maak je niet druk Komt wel goed. Die X4 heeft meer pwoer dan je denkt en is al helemaal neit te vergelijken met je vorige P4. Dont worry, start building

[DJ-Promo]

Ok dan ga ik eerst alleen me schijven update. En ik heb een mooie Intel Nic klaar liggen die er dan ingaat. Zal de load wel even in gaten houden als alles geinstalleerd is.

[ Voor 23% gewijzigd door DJ-Promo op 01-10-2010 18:32 ]

[DJ-Visto]

Een X4 is meer dan genoeg, ik draai nu mijn fileserver op E2160 en ik krijg hem wel is naar de load van 2.0 maar dan jaag ik er van alles naartoe en trek ik er vanaf.. Mijn virtualisatie machine (ESXi) draait zelfs een X2 7850.. En daar draaien 7 vms op die ook prima performance hebben. Dus ik zou mij niet zo'n zorgen gaan maken, en succes met bouwen

[mphilipp]

Hmmm...voorlopig zegt de computer 'no...'
De HighPoint kaart 'ziet' geen suitable drives. Google leverde niets op als ik zoek naar incompatible drives of die specifieke kreet. Misschien iets met de kabels. Even rustig alles nalopen.

[Twan V]

Na een tijdje gelurkt te hebben, toch ook mijn plannen maar eens kenbaar maken

Ik wil een nas gaan maken, waar mijn data veilig opgeslagen staat, maar die ook kan downloaden. Data-zekerheid van downloads is minder belangrijk. Verder is een remote benaderbare gui, een webservertje en asterisk leuk.

Mijn config tot dusver:

#	Product	Prijs	Subtotaal
1	Gigabyte GA-D525TUD	€ 75,15	€ 75,15
2	Samsung EcoGreen F2 EG HD154UI, 1.5TB (Raid0 - cache/downloads)	€ 61,-	€ 122,-
2	Samsung EcoGreen F3EG, 2TB (Raid1 - os/data)	€ 84,45	€ 168,90
1	Sharkoon Rebel9 Economy	€ 37,93	€ 37,93
1	Antec Earthwatts EA-380D Green	€ 41,18	€ 41,18
2	Kingston ValueRAM KVR1066D3N7/2G	€ 33,-	€ 66,-
Bekijk collectie Importeer producten		Totaal	€ 511,16
4	Buiten T.net: Hot-Swap 3.5" SATA Mount (DealExtreme)	€ 12,17	€ 48,68

Ik wil mijn data opslaan op de 2tb mirror, en mijn downloads op de stripe. Parren en unrarren kost nogal wat schijfkracht en dataverlies van downloads vind ik niet zo boeiend.

Er zijn nog een paar dingen die ik me afvraag:
• Is Ubuntu een goede keuze voor nas / remote gui / asterisk?

• Is het mogelijk om de nas 's nachts automatisch in te laten slapen bij geen activiteit? 's Ochtends wakker worden kan in de bios geregeld worden (neem ik aan).

• Hoe slecht is het voor schijven om ze zich uit te laten schakelen bij inactiviteit?
Ik heb altijd het gevoel dat dit de levensduur niet ten goede komt.

[Zware Unit]

Een paar nieuwe foto's van mijn NAS setup. APC monitor + toetsenbord lade is binnengekomen uit de US. 26 dollar + 120 USD verzendkosten. Voor iets meer dan 100 Euro een erg leuk speeltje.

Foto's zijn klikbaar.

[ Voor 35% gewijzigd door Zware Unit op 02-10-2010 14:42 ]

[DJ-Visto]

Ziet er echt tof uit! Goed gedaan

[mphilipp]

Zware Unit schreef op zaterdag 02 oktober 2010 @ 14:34:
Een paar nieuwe foto's van mijn NAS setup. APC monitor + toetsenbord lade is binnengekomen uit de US. 26 dollar + 120 USD verzendkosten. Voor iets meer dan 100 Euro een erg leuk speeltje.

Cool, man!

Nog iemand een hint om die HighPoint mijn Samsung EcoGreen F3EG, 2TB te laten zien? Hij blijft volhouden dat er geen suitable disks gevonden zijn...
Zou het aan die kabels liggen? Ik heb een mini-sas naar 4xSATA gekocht. Daar zijn toch niet 35 soorten van, zodat ik waarschijnlijk precies de verkeerde heb?

Ik kom wel gewoon in de setup van de kaart, dus het is (denk ik dan) geen issue met het moederbord. Ik zit eraan te denken om de kaart en 2 van die disks even in mijn andere pc te proberen. Om even wat gekke dingen uit te sluiten.

[DJ-Visto]

mphilipp schreef op zaterdag 02 oktober 2010 @ 15:40:
[...]

Cool, man!

Nog iemand een hint om die HighPoint mijn Samsung EcoGreen F3EG, 2TB te laten zien? Hij blijft volhouden dat er geen suitable disks gevonden zijn...
Zou het aan die kabels liggen? Ik heb een mini-sas naar 4xSATA gekocht. Daar zijn toch niet 35 soorten van, zodat ik waarschijnlijk precies de verkeerde heb?

Ik kom wel gewoon in de setup van de kaart, dus het is (denk ik dan) geen issue met het moederbord. Ik zit eraan te denken om de kaart en 2 van die disks even in mijn andere pc te proberen. Om even wat gekke dingen uit te sluiten.

Tijdje terug ook hier was iemand met het zelfde soort probleem lag aan de kabels, maar geen idee wie dat was, dan moet je echt ff terug zoeken

[Zware Unit]

Bij de Areca kaarten helpt het soms om SATA op 150 te zetten ipv de max 300 of 600. Ook het uitzetten van NCQ helpt wel eens. Hebben je disken de laatste firmware? Herkent de kaart wel andere type disken?

Twijfel nog steeds over de uitbreiding van mijn disken. De Enterprise raid disken kosten ongeveer 200 euro per 2TB, maar zijn getest door Areca. De consumenten 2TB disken kosten inmiddels minder dan 100 euro per stuk, maar geven wat ik lees nog wel eens wat problemen. Ook hebben sommige consumenten disken last van een hoge uitval wanneer ze in een raid array worden geplaatst.

Consumenten disken:
Hitachi 7K2000 (link)
Seagate ST32000542AS (link)
WD WD2001FASS (link)
WD WD20EARS (link)

Enterprise disken:
Hitachi HUA722020ALA330 (link)
Seagate ST32000644NS (link)
WD WD2003FYYS (link)
WD WD2002FYPS (link)

Voorkeur gaat uit naar de WD WD2002FYPS (link), aangezien deze een laag energie gebruik heeft en hij "qualified" is voor mijn Areca controller.

[ Voor 6% gewijzigd door Zware Unit op 02-10-2010 17:15 ]

[mphilipp]

Zware Unit schreef op zaterdag 02 oktober 2010 @ 17:11:
Bij de Areca kaarten helpt het soms om SATA op 150 te zetten ipv de max 300 of 600. Ook het uitzetten van NCQ helpt wel eens. Hebben je disken de laatste firmware? Herkent de kaart wel andere type disken?

Samsung werkt niet met firmwares die je zelf kunt updaten. Deze schijven worden vaker gebruikt in arrays, dus ik heb eigenlijk geen reden om aan te nemen dat ze incompatible zouden zijn. Ik kan daar ook helemaal niets over vinden. Kweenie of ik allerlei dingen aan of uit kan zetten. Maar volgens mij hebben die zaken meer invloed om hoe ie werkt, niet of ie herkent wordt. En op SATA150 zetten; kun je dan nog wel terug? Want dat is natuurlijk niet de bedoeling...

Ik gok op een issue met de kabels, maar de kabel die ik heb is een mini-sas naar 4xsata, niet andersom oid. Op de site van HighPoint staat een dergelijke kabel vermeld. Er staat ook niet een waarschuwing bij dat je persé een bepaald type kabel moet hebben, maar dat zegt niets natuurlijk.

Wel weer jammer dat ik in een shithole als Gorinchem woon, natuurlijk geen enkele shop in de buurt. Alles moet via internet en geen hond weet natuurlijk precies wat je moet hebben...

[edit]
BTW heb ik met Samsung hele goede ervaringen. Ik heb er in de afgelopen jaren een aantal gehad en 0 problemen (ze doen het nog steeds). Daarentegen kocht ik onlangs 4 WD's Black Series en ik kon er 2 terugsturen...
Samsungs doen het prima in arrays. Ooit heeft de F1 hier en daar wat ellende gegeven, maar daarna niet meer. WD is de enige die schijven bewust castreert zodat je gedwongen bent om 'enterprise class' disks te kopen voor je array. Het enige werkelijke verschil is de ontbrekende feature en het prijskaartje. Ik koop dus voortaan geen WD meer.

[ Voor 18% gewijzigd door mphilipp op 02-10-2010 17:45 ]

[Zware Unit]

Heb nog wel een aantal mini-SAS (controller) naar SATA (disken) kabels liggen van mijn Areca controller die ik niet gebruik. Hoeveel heb je er nodig? Wil er best eentje opsturen zodat je het kan testen.

[mphilipp]

Zware Unit schreef op zaterdag 02 oktober 2010 @ 17:43:
Heb nog wel een aantal mini-SAS (controller) naar SATA (disken) kabels liggen van mijn Areca controller die ik niet gebruik. Hoeveel heb je er nodig? Wil er best eentje opsturen zodat je het kan testen.

Dat zou op zich wel fijn zijn. Tenzij je dezelfde kabels van 3Ware hebt

In principe ben ik al blij met een 1:1, want dan kan ik ook al zien of het werkt. Ik heb 6x2Tb die ik met 2 van die kabels heb verbonden (2xmini-SAS naar 4xSATA). Dus als je iets hebt dat dat daarop lijkt, dan ben ik blij.

[ruitech]

mphilipp schreef op zaterdag 02 oktober 2010 @ 17:57:
[...]

Dat zou op zich wel fijn zijn. Tenzij je dezelfde kabels van 3Ware hebt

In principe ben ik al blij met een 1:1, want dan kan ik ook al zien of het werkt. Ik heb 6x2Tb die ik met 2 van die kabels heb verbonden (2xmini-SAS naar 4xSATA). Dus als je iets hebt dat dat daarop lijkt, dan ben ik blij.

Je hebt volgens mij twee types:

• Forward Breakout (die heb jij nodig) = 1xSAS aansluiting naar 4x SATA aansluiting
• Reverse Breakout (kan uit de link van azerty niet opmaken welke het is) heb je NIET nodig. dit is bedoeld van een sata controller naar SAS Multilane om op een backplane aan te sluiten.

Zelf gebruik ik de kabels van 3ware: http://www.webconnexxion....h=155_175&products_id=713
Die werken hier goed...

[NMNN]

En als ik het goed begrijp stellen jullie dat 'niet-enterprise' schijven voldoende garantie bieden om een NAS te draaien? Wat mij namelijk zorgen baart is de stelling dat de 'huis-tuin-en-keuken' schijven niet geschikt zijn om meer dan 8 uur per dag te draaien. Daar zijn ze simpelweg niet voor ontworpen, aldus de makers van kant en klare NASSEN.
Nu vind ik het op zich niet bezwaarlijk om mijn opslagcapaciteit in etappes aan te schaffen, maar dan wil ik uiteraard wel het idee hebben dat ik dan ook meer zekerheid in huis haal.
Mijn plan is overigens wel om een NAS van QNAP aan te schaffen. Het liefts zou ik RAID 0 draaien, maar waarschijnlijk wordt dat wel RAID 1. Anders heb ik nog niks aan mijn 'backup'.

[DJ-Visto]

NMNN schreef op zondag 03 oktober 2010 @ 00:58:
En als ik het goed begrijp stellen jullie dat 'niet-enterprise' schijven voldoende garantie bieden om een NAS te draaien? Wat mij namelijk zorgen baart is de stelling dat de 'huis-tuin-en-keuken' schijven niet geschikt zijn om meer dan 8 uur per dag te draaien. Daar zijn ze simpelweg niet voor ontworpen, aldus de makers van kant en klare NASSEN.
Nu vind ik het op zich niet bezwaarlijk om mijn opslagcapaciteit in etappes aan te schaffen, maar dan wil ik uiteraard wel het idee hebben dat ik dan ook meer zekerheid in huis haal.
Mijn plan is overigens wel om een NAS van QNAP aan te schaffen. Het liefts zou ik RAID 0 draaien, maar waarschijnlijk wordt dat wel RAID 1. Anders heb ik nog niks aan mijn 'backup'.

Mauh vaak is het een anderen firmware die er op is geflashed ipv van de consumenten hdds

Ik draai nu al een maandje of 2, 3 2x Hitachi's en 1x Samsung 1TB en 1x Hitachi 1x Seagate 250GB dag en nacht..

[mphilipp]

ruitech schreef op zondag 03 oktober 2010 @ 00:37:
[...]
Je hebt volgens mij twee types:

• Forward Breakout (die heb jij nodig) = 1xSAS aansluiting naar 4x SATA aansluiting
• Reverse Breakout (kan uit de link van azerty niet opmaken welke het is) heb je NIET nodig. dit is bedoeld van een sata controller naar SAS Multilane om op een backplane aan te sluiten.

Zelf gebruik ik de kabels van 3ware: http://www.webconnexxion....h=155_175&products_id=713
Die werken hier goed...

Nou, de grap is dat als je bij die Azerty link op 'volledige omschrijving' klikt, het volgende te lezen is:

The Multi-lane SATA cable/connection system is fast, secure, simple, and clutter free. It combines the RAID controller's four SATA ports into a single locked connection. Four lanes of 3Gb/s SATA traffic travel through just one cable from the RAID controller to the system backplane or to up to four hard drives with a breakout cable.

Ik denk dan dat het een kabel is om van een controller naar 4 HD's te gaan. Maar wie weet is het een inpakfout, of de omschrijving hoort niet bij deze kabel. Je zou zeggen dat er weinig mis kan gaan met zoiets, maar helaas...

Ik heb de kaart btw ook al voorzien van nieuwere firmware (1.0->1.1) maar dat maakt niets uit. Toch maar even kijken of het anders is als ie in mijn eigen pc zit. Ik kan verder toch niets doen.

[loewie1984]

Zware Unit schreef op zaterdag 02 oktober 2010 @ 14:34:
Een paar nieuwe foto's van mijn NAS setup. APC monitor + toetsenbord lade is binnengekomen uit de US. 26 dollar + 120 USD verzendkosten. Voor iets meer dan 100 Euro een erg leuk speeltje.

Vet, zeg je dat dat kvm bordje je 26 dollar gekost heeft excl. verzend? omg dat is wel super cheap!
Vette bak verder

[Slamdance]

als je op de link die je gaf kijkt staat er als type aanduiding:

Informatie
Artnr: 166387
EAN: 0693494917062
SKU: CBL-SFF8087OCR-06M

De R in de type aanduiding geeft volgens mij aan dat het de Reverse Breakout cable is.

En niet bijvoorbeeld de CBL-SFF8087OCF-05m Forward Breakout cable.

Moet wel zeggen dat het bijzonder slecht is aangegeven op de site van azerty.

[mphilipp]

Slamdance schreef op zondag 03 oktober 2010 @ 11:28:
als je op de link die je gaf kijkt staat er als type aanduiding:

Informatie
Artnr: 166387
EAN: 0693494917062
SKU: CBL-SFF8087OCR-06M

De R in de type aanduiding geeft volgens mij aan dat het de Reverse Breakout cable is.

En niet bijvoorbeeld de CBL-SFF8087OCF-05m Forward Breakout cable.

Moet wel zeggen dat het bijzonder slecht is aangegeven op de site van azerty.

Dan is de omschrijving dus fout. Daar staat heel duidelijk dat het van een controller naar 4 drives is. Een reverse cable is toch van 4 sata poorten naar 1 mini-sas poort? Ze hebben dus gewoon de omschrijvingen verwisseld.

[edit]
Ik denk trouwens dat je gelijk hebt, want er staat een andere kabel van 3Ware waarbij wel in de omschrijving 'Reverse Breakout' staat (eentje van 1m) met hetzelfde nr, alleen aan het einde is het 10m voor de lengte. Ik zal ze iig een mail sturen en vragen wat je kunnen doen.

[ Voor 16% gewijzigd door mphilipp op 03-10-2010 12:19 ]

[oddish2211]

waarom werken sommige schijven dan slecht in een raid array?
want stel ik gebruik software raid, en daarmee schrijf ik data weg naar meerdere schijven dan is dat toch exact hetzelfde als gewoon data schrijven naar 1 schijf? het is niet zo alsof je in een raid array de schijven anders benaderd waardoor ze eerder kapot gaan oid.

[Q]

Als je software RAID neemt onder Linux of BSD maakt de schijfkeuze niet uit.

De ellende met bepaalde schijven is altijd in combinatie met hardware RAID controllers.

Om die reden heeft de Spinpoint F1 een slechte naam, terwijl ik als software RAID gebruiker na ruim een jaar nog geen enkele uitval heb gehad van een F1.

[oddish2211]

okee, hardware raid dan, waarom is daar dan zoveel uitval met harde schijven?

[Q]

Mijn stelling is dat fabrikanten bewust fucken met firmwares om hun dure RAID varianten van de zelfde schijf te verkopen. Samsung heeft die naar mijn weten niet dus wat er met die F1 mis was weet ik niet. Bij WD is dit zeker het geval.

Er is tussen RAID en non-RAID schijven fysiek geen verschil, behalve de firmware, zover ik weet.

[ Voor 17% gewijzigd door Q op 03-10-2010 14:13 ]

[Bolk]

Dat gelazer heb ik ook met mijn Adaptec RAID 51645. Koop je een dure controller en dan gaat het mis met de disks.

Ik prop daar m'n oude software RAID 1 TB (desktop) schijven in van WD (welke prima werken) en de controller lazert ze er gewoon uit. Dan heb ik 3 disks erin zitten, stop ik er een 4e bij -> valt de eerste weer weg (dat soort onzin).

Nu heb ik mezelf committed aan 2 TB (RAID) schijven van WD in RAID 6 (ook 200 euro per stuk ). Het project is bij mij aardig uit de hand gelopen maar ik lach me wel ziek met 6 TB storage op dit moment en 80 MB/s tanken van en naar die bak toe

Reden dat ik voor 2 TB disks gekozen heb is toch de dichtheid. Kan nu, met oog op de toekomst, uitbreiden tot 32 TB in RAID 6. 28 TB effectieve storage. Zou toch wel genoeg moeten zijn... Expanden duurt nu al 2 dagen

[oddish2211]

ik heb zelf nu een ubuntu servertje draaien met 2 1.5TB schijven van samsung. atm staan ze in raid 1, maar over een week ga ik nog een schijf halen en dan zet ik ze in raid 5 met mdadm.
dus ik heb ook nog wat uitbreidmogelijkheden

[Verwijderd]

Ach, ik heb een Highpoint Rocketraid 3560 met 20 disks van 1,5 TB die ik nu allemaal mag vervangen omdat de nieuwe Areca 1880ix-24 er niet leuk mee speelt

Dus als je nog n disk wilt moet je me maar even PMen, heb er al een aantal aan collega's verkocht.

edit: De Highpoint staat overigens ook in V&A voor de geinteresseerden

[ Voor 12% gewijzigd door Verwijderd op 03-10-2010 15:29 ]

[Q]

Een hardware controller voor RAID setups is voor thuis eigenlijk 2 keer kut.

1. schreeuwend duur
2. je moet schreeuwend dure supported schijven kopen.

Onder Windows heb je eigenlijk geen keuze. Maar als je 1000en euro's wilt besparen loont het om je te verdiepen in Linux / BSD.

Het gaat ons vrijwel allemaal om storage, niet performance. Een paar mensen draaien ook wat VM's maar dan nog.

Met een 16 poorts highpoint, 4 moederbord sata en nog een extra 4 poorten via een extra pci-e sata kaartje geeft je ook 24 poorten, voor relatief weinig geld.

Voor onder de 3K kun je 48 TB ruwe storage hebben, 44 TB in RAID 6 en 40 TB in 2x 20 RAID 6. met LVM aan elkaar geknoopt. Dat is wel exclusief de computer zelf, dus kast mobo, ram en cpu.

Het is een geschift bedrag in absolute zin, maar andere mensen geven het over 2 jaar uit aan vakanties dus tja.

[ Voor 53% gewijzigd door Q op 03-10-2010 17:47 ]

[lampie1979]

Q, je reactie mag wel wat genuanceerder

Ik heb beide setups gedraaid zowel Linux software als Windows hardware (Arc-1280ML)

1.ligt aan je budget
2.je moet niks, ligt toch echt aan je RAID controller. Ik draai 1 array met WD Enterprise schijven en de andere met desktop schijven (mix, WD blacks, Samsung en Seagate)

Beide array zijn prima in orde. De desktop mix heb ik NCQ gedeactiveerd, dit gaf in het begin problemen.

Draai nu al een jaar 24/7 zonder ook maar 1 probleem of uitvallende schijf.

[lampie1979]

Q schreef op zondag 03 oktober 2010 @ 17:41:
Een hardware controller voor RAID setups is voor thuis eigenlijk 2 keer kut.

1. schreeuwend duur
2. je moet schreeuwend dure supported schijven kopen.

Onder Windows heb je eigenlijk geen keuze. Maar als je 1000en euro's wilt besparen loont het om je te verdiepen in Linux / BSD.

Het gaat ons vrijwel allemaal om storage, niet performance. Een paar mensen draaien ook wat VM's maar dan nog.

Met een 16 poorts highpoint, 4 moederbord sata en nog een extra 4 poorten via een extra pci-e sata kaartje geeft je ook 24 poorten, voor relatief weinig geld.

Voor onder de 3K kun je 48 TB ruwe storage hebben, 44 TB in RAID 6 en 40 TB in 2x 20 RAID 6. met LVM aan elkaar geknoopt. Dat is wel exclusief de computer zelf, dus kast mobo, ram en cpu.

Het is een geschift bedrag in absolute zin, maar andere mensen geven het over 2 jaar uit aan vakanties dus tja.

Zou in contact treden met Areca. Hebben mij in het verleden ook heel goed geholpen.

[Q]

lampie1979 schreef op zondag 03 oktober 2010 @ 17:50:
Q, je reactie mag wel wat genuanceerder

Ik heb beide setups gedraaid zowel Linux software als Windows hardware (Arc-1280ML)

1.ligt aan je budget

Hoe maakt je budget een hardware controller goedkoper? Een 24 poorts Hardware controller is gewoon erg duur. Zo'n ding is alleen nodig als je Windows draait of pittige performance wilt. Da's prima verder, maar dan moet je gewoon meer betalen. Als je het geldt kunt missen, prima.

2.je moet niks, ligt toch echt aan je RAID controller. Ik draai 1 array met WD Enterprise schijven en de andere met desktop schijven (mix, WD blacks, Samsung en Seagate)

Beide array zijn prima in orde. De desktop mix heb ik NCQ gedeactiveerd, dit gaf in het begin problemen.

Draai nu al een jaar 24/7 zonder ook maar 1 probleem of uitvallende schijf.

Ik denk dat er een hoop mensen blij zouden zijn met een overzicht van grote RAID kaarten met 8+ poorten die wel met reguliere desktop schijven overweg kunnen al dan niet door NCQ uit te zetten. Ik heb het idee dat er soms geen pijl op te trekken valt.

[mphilipp]

Maakt het overigens uit of je software raid over de SATA aansluitingen doet van je mobo of over de raid kaart? Stel dat ik die 6 schijven van me op het mobo had aangesloten en 1 pata disk als bootdisk, is dan de onboard controller langzamer/even snel/sneller dan de controller van een HighPoint of Areca kaart. De controllers worden puur dom gebruikt; de RAID gaat via software raid van Linux.

[Q]

mphilipp schreef op zondag 03 oktober 2010 @ 18:05:
Maakt het overigens uit of je software raid over de SATA aansluitingen doet van je mobo of over de raid kaart? Stel dat ik die 6 schijven van me op het mobo had aangesloten en 1 pata disk als bootdisk, is dan de onboard controller langzamer/even snel/sneller dan de controller van een HighPoint of Areca kaart. De controllers worden puur dom gebruikt; de RAID gaat via software raid van Linux.

Het performance verschil is verwaarloosbaar in het voordeel van je moederbord, is mijn ervaring. Kortom, dat maakt niet uit. Mixen is ook geen issue.

[lampie1979]

Q schreef op zondag 03 oktober 2010 @ 18:05:
[...]


Hoe maakt je budget een hardware controller goedkoper? Een 24 poorts Hardware controller is gewoon erg duur. Zo'n ding is alleen nodig als je Windows draait of pittige performance wilt. Da's prima verder, maar dan moet je gewoon meer betalen.


[...]


Ik denk dat er een hoop mensen blij zouden zijn met een overzicht van grote RAID kaarten met 8+ poorten die wel met reguliere desktop schijven overweg kunnen al dan niet door NCQ uit te zetten. Ik heb het idee dat er soms geen pijl op te trekken valt.

Maakt het niet goedkoper, maar sommige hebben meer te spenderen dan de ander. Kostenaspect is relatief.

Ik persoonlijk vind de prijs wel meevallen voor een 24-poorts raidcontroller. Onder Linux presteert die ook prima hoor en ook is er b.v. native VMware support. Er kleven meer voordelen aan Hardware Riad, maar in mindere mate van toepassing voor de gemiddelde thuis gebruiker (die zich in deze thread voornamelijk richt of Wattage en minder op performance of andere geavanceerde toepassingen). De performance van Hardware RAID is idd fantastich, parren, rarren, alles vliegt.

Bezint eer ge begint is ook hier van toepassing. Als men voor hardware Riad kiest zou ik persoonlijk in de stal van Areca kijken. "Betaalbaar", goede support en cutting edge kaarten. Een overzicht zou mooi zijn, maar hoeveel mensen in deze thread zoeken een hardware raid oplossing van 24+ poorten

[Verwijderd]

lampie1979 schreef op zondag 03 oktober 2010 @ 17:53:
[...]


Zou in contact treden met Areca. Hebben mij in het verleden ook heel goed geholpen.

Ik heb het vermoeden dat je mij had willen quoten hier, zo niet excuses alvast.

Ik heb het risico genomen om unsupported disks te gebruiken, en nu heb ik een goede reden om naar 2 TB disks te switchen. Ruimte had ik ook al tekort met 20x1,5 TB in RAID6, dus dat is weer een extra reden om naar de 2TB disks te gaan.

[lampie1979]

Q schreef op zondag 03 oktober 2010 @ 18:10:
[...]


Het performance verschil is verwaarloosbaar in het voordeel van je moederbord, is mijn ervaring. Kortom, dat maakt niet uit. Mixen is ook geen issue.

Meestal geen issue. Gemengde sata poorten (en dus verschillende drivers en fabrikanten) blijft een risico. Niet iedere sata poort is even compatible als de ander. Ik heb zelf ook geen problemen ondervonden in mijn software raid tijdperk, maar ik heb wel menig voorbeeld voorbij zien komen waarin onder een Software Raid implementatie drivers elkander in de weg zaten.

[lampie1979]

Verwijderd schreef op zondag 03 oktober 2010 @ 18:20:
[...]


Ik heb het vermoeden dat je mij had willen quoten hier, zo niet excuses alvast.

Ik heb het risico genomen om unsupported disks te gebruiken, en nu heb ik een goede reden om naar 2 TB disks te switchen. Ruimte had ik ook al tekort met 20x1,5 TB in RAID6, dus dat is weer een extra reden om naar de 2TB disks te gaan.

Correct was een reactie op jouw post

Altijd reden zat om te upgraden , echter blijft het zonde van de investering, gezien je kosten/ruimte relatief marginaal wint. Ik zou er een mailtje aan wagen met areca

[Q]

lampie1979 schreef op zondag 03 oktober 2010 @ 18:18:
[...]


Maakt het niet goedkoper, maar sommige hebben meer te spenderen dan de ander. Kostenaspect is relatief.

Helemaal waar, maar wat ik schrijf is met de behoeften van de gemiddelde nas bouwer in het achterhoofd.

Maar zelfs al heb je het geld, dan nog is de vraag waarom uitgeven als het niet nodig is? Okee, voor de fun of it

Maar voor thuisgebruik is een hardware controller nooit "nodig" tenzij je Windows wilt draaien op je NAS.

Ik persoonlijk vind de prijs wel meevallen voor een 24-poorts raidcontroller. Onder Linux presteert die ook prima hoor en ook is er b.v. native VMware support. Er kleven meer voordelen aan Hardware Riad, maar in mindere mate van toepassing voor de gemiddelde thuis gebruiker (die zich in deze thread voornamelijk richt of Wattage en minder op performance of andere geavanceerde toepassingen). De performance van Hardware RAID is idd fantastich, parren, rarren, alles vliegt.

Bezint eer ge begint is ook hier van toepassing. Als men voor hardware Riad kiest zou ik persoonlijk in de stal van Areca kijken. "Betaalbaar", goede support en cutting edge kaarten. Een overzicht zou mooi zijn, maar hoeveel mensen in deze thread zoeken een hardware raid oplossing van 24+ poorten

Mee eens. Maar het gaat niet eens om 24+ poorten. Het gaat om controllers die goed met populaire non-raid disks werken.

[Bolk]

Dat is ook de reden dat ik een hardware RAID controller heb met bijbehorende schijven: Windows 2008 met Hyper-V. ESXi had geen passthrough van de disks, iets dat Hyper-V perfect doet.

Domeincontrollers + mail + storage op 1 hardware onafhankelijke machine. Ben naast storage geek nu ook virtualization freak

[Weiman]

Ik heb ook een storage server met Hyper-V, maar ik heb op m'n storage array gewoon een paar shares aangemaakt die worden gemapped als netwerk shares in m'n VM's (osdisk is een losse RAID 1 array) Dat je disks als offlone moet hebben draaien om ze te kunnen passthroughen vind ik eigenlijk best wel een nadeel Maar dat hangt ervanaf hoe je de boel hebt ingericht.

[Zware Unit]

Voor de duidelijk, mijn Areca ARC-1280ML werkt prima met de WD Caviar Green WD10EADS. Een goedkope consumenten disk die weinig energie verbruikt. Heb Areca een tijd geleden een mail gestuurd met de vraag welke consumenten disken zonder problemen werken.

"Generally desktop drives always not recommended. Both hard drive vendors and us recommend enterprise drives for best reliability. There have many unstable array issues related with desktop drives and unstable environment before. and some hard drive vendors do not support desktop drives in array applications, so we no longer certify desktop drives." Areca Support

Grappig trouwens dat volgens de WD website de Areca kaarten gewoon worden ondersteund (link).

"WD makes no warranty, implied or otherwise, regarding the compatibility, performance or reliability of these products." WD Support

[mphilipp]

Ik heb verschillende systemen gehad met voornamelijk Samsung drives die 24/7 aan stonden. Desktop PC's (ook 24/7) en NAS servers. Het enige probleem dat ik had, was met oude Hitachi Deskstar (Death Star) disks, maar die problemen zijn al heel lang verleden tijd. Mijn huidige NAS heeft zelfs een Deskstar als boot disk (een oudje, maar goed).

Samsung heb ik altijd al vertrouwen in gehad en hebben 0 problemen bij mij gegeven. Na mijn ervaring met WD, ben ik geneigd te stellen dat Samsung betrouwbaarder is. En dat wijzen ook de consumentenreacties uit.

[Verwijderd]

Ik ben ook wel erg tevreden over Samsungs, maar ik heb 17 HD154UI disks die ik mag vervangen omdat ze niet met m'n Areca 1880ix-24 willen werken. Op de Highpoint Rocketraid 3560 werken ze prima, maar op de Areca niet.

[Bolk]

Weiman schreef op maandag 04 oktober 2010 @ 09:33:
Ik heb ook een storage server met Hyper-V, maar ik heb op m'n storage array gewoon een paar shares aangemaakt die worden gemapped als netwerk shares in m'n VM's (osdisk is een losse RAID 1 array) Dat je disks als offlone moet hebben draaien om ze te kunnen passthroughen vind ik eigenlijk best wel een nadeel Maar dat hangt ervanaf hoe je de boel hebt ingericht.

Ik heb 1 VM als fileserver, die gebruik maakt van die offline disks (passthrough). De rest wordt intern gewoon gemapped via een virtuele 10 GB connectie. Dus wat dat betreft vind ik het niet bepaald een nadeel eigenlijk.

Ik draai in Hyper-V:
- 2 domeincontrollers
- Exchange server
- Fileserver + database van Exact
- FreeBSD dev server
- WinXP print server (omdat HP weigert drivers te maken voor Windows 7 voor een all in one printer )

Dus m'n hele RAID 6 storage wordt doorgemapped naar m'n Fileserver. Rest werkt gewoon zoals een normaal netwerk, maar dan alles op 1 stukje hardware

Als m'n hardware faalt ben ik wel alles in 1 keer kwijt. Maarja, de VM's worden gewoon gebackupped dus wat dat betreft kan ik ook weer snel aan de gang...

[daan08]

NAS heeft een upgrade gehad naar twee controllers type Adaptec 3085. Ik zal de disks gewoon in een externe behuizing plaatsen, pc case of server case. De storage wordt 2 * 8 drive RAID5, Samsung HD154UI schijven (getest op controller werkt prima).

Nu nog zoiets zien te bemachtigen:

[ Voor 35% gewijzigd door daan08 op 05-10-2010 15:45 ]

[mphilipp]

Dankzij de Zware Unit heb ik nu de juiste kabels in huis en nu herkent de HighPoint kaart idd de drives. Alleen werkt het allemaal iets anders uit dan ik verwacht had. Ik heb eerst de drives via de kaart als 6 afzonderlijke JBOD's gedefinieerd zodat ik ze met mdadm tot een softraid zou kunnen maken. Maar op een of andere manier zitten ze mijn andere disks in de weg, want mijn /sda, /sdb en /sdc zijn nu ineens 'verschoven' en dan werkt eea niet meer. sda is een pata disk die op het mobo zit en is mijn bootdisk. De b en c zijn 2 schijven die ik mbv mdadm tot een RAID0 array heb gemaakt. Maar ze zijn nu ineens sda en sdb geworden en mijn a is nu c.

Ik wordt daar een beetje gestoord van. En natuurlijk geen spoor van die 6 disks, dus in een helder moment bedacht ik me dat ik misschien de drivers van Highpoint moest installeren. Dat heb ik gedaan, maar dat gaat ook niet goed. Daar moet ik wellicht nog even op koekelen, want de geleverde drivers zijn voor Ubuntu 8 en ik heb 10. Dus ik zal wel iets anders moeten doen.

Ik zie alweer aankomen dat ik straks weer Ununtu opnieuw kan gaan installeren omdat die kaart de boel omgooit...

Ik heb nu de disks maar even omgezet naar een RAID5 via de kaart, kijken of dat wat uitmaakt. Ik wilde dat toch ook even testen, dus het kan geen kwaad.

[ Voor 6% gewijzigd door mphilipp op 05-10-2010 20:22 ]

[DJ-Visto]

mphilipp schreef op dinsdag 05 oktober 2010 @ 20:22:
Dankzij de Zware Unit heb ik nu de juiste kabels in huis en nu herkent de HighPoint kaart idd de drives. Alleen werkt het allemaal iets anders uit dan ik verwacht had. Ik heb eerst de drives via de kaart als 6 afzonderlijke JBOD's gedefinieerd zodat ik ze met mdadm tot een softraid zou kunnen maken. Maar op een of andere manier zitten ze mijn andere disks in de weg, want mijn /sda, /sdb en /sdc zijn nu ineens 'verschoven' en dan werkt eea niet meer. sda is een pata disk die op het mobo zit en is mijn bootdisk. De b en c zijn 2 schijven die ik mbv mdadm tot een RAID0 array heb gemaakt. Maar ze zijn nu ineens sda en sdb geworden en mijn a is nu c.

Ik wordt daar een beetje gestoord van. En natuurlijk geen spoor van die 6 disks, dus in een helder moment bedacht ik me dat ik misschien de drivers van Highpoint moest installeren. Dat heb ik gedaan, maar dat gaat ook niet goed. Daar moet ik wellicht nog even op koekelen, want de geleverde drivers zijn voor Ubuntu 8 en ik heb 10. Dus ik zal wel iets anders moeten doen.

Ik zie alweer aankomen dat ik straks weer Ununtu opnieuw kan gaan installeren omdat die kaart de boel omgooit...

Ik heb nu de disks maar even omgezet naar een RAID5 via de kaart, kijken of dat wat uitmaakt. Ik wilde dat toch ook even testen, dus het kan geen kwaad.

Waarom gebruik je geen debian? Dan kan je Q's blog er nog is op nalezen, daar staat erg veel nuttige informatie voor jou op (niet dat uitmaakt kwa installatie etc, want Ubuntu is zeg maar de niet stabiele versie van Debian )

[mphilipp]

DJ-Visto schreef op dinsdag 05 oktober 2010 @ 20:26:
[...]
Waarom gebruik je geen debian?

Ja, waarom zijn de bananen krom? Weetikveel...dat gebruik ik gewoon al jaren.
[edit]En zoals je zelf al zegt maakt het verder niet zoveel uit. Ubuntu is gebasseerd op Debian, dus ik kan die dingen wel volgen.

Ik zie nou (denk ik) waarom die disks nou fucked up zijn. Iemand heeft besloten dat het beter is dat in de fstab UID's staan ipv een /dev/sda enzo...erg handig, maar nu is mijn /sda /sdc geworden en fucking niets start meer vanzelf. Erg handig! Ik ga het even aanpassen naar de ouderwetse manier, dat snap ik tenminste, en wie weet heb ik dan weer een systeem waar ik iets mee kan. Dan kan ik de open source drivers van HighPoint gaan compileren en gebruiken (die schijnen te werken).

[ Voor 8% gewijzigd door mphilipp op 05-10-2010 20:59 ]

[tjmv]

mphilipp schreef op dinsdag 05 oktober 2010 @ 20:48:
[...]

Ja, waarom zijn de bananen krom? Weetikveel...dat gebruik ik gewoon al jaren.

Ik zie nou (denk ik) waarom die disks nou fucked up zijn. Iemand heeft besloten dat het beter is dat in de fstab UID's staan ipv een /dev/sda enzo...erg handig, maar nu is mijn /sda /sdc geworden en fucking niets start meer vanzelf. Erg handig! Ik ga het even aanpassen naar de ouderwetse manier, dat snap ik tenminste, en wie weet heb ik dan weer een systeem waar ik iets mee kan. Dan kan ik de open source drivers van HighPoint gaan compileren en gebruiken (die schijnen te werken).

Je kan de UIDs van de schijven bekijken met blkid. Ik denk echter dat je het in dit geval bij grub moet zoeken (/boot/grub/menu.lst). Je kan hier ook UUIDs gebruiken.

[AlterMann]

mphilipp schreef op dinsdag 05 oktober 2010 @ 20:48:
[...]

Ik zie nou (denk ik) waarom die disks nou fucked up zijn. Iemand heeft besloten dat het beter is dat in de fstab UID's staan ipv een /dev/sda enzo...erg handig, maar nu is mijn /sda /sdc geworden en fucking niets start meer vanzelf. Erg handig! Ik ga het even aanpassen naar de ouderwetse manier, dat snap ik tenminste, en wie weet heb ik dan weer een systeem waar ik iets mee kan. Dan kan ik de open source drivers van HighPoint gaan compileren en gebruiken (die schijnen te werken).

Ja maar... UUID's zijn er juist om niet in chaos te komen als je sda opeens sdd is.. Die UUID verandert namelijk niet als je schijf opeens op een ander poortje zit, of, zoals bij jou, er een RAID-controller vindt dat hij belangrijker is dan de onboard-poortjes

[mphilipp]

AlterMann schreef op dinsdag 05 oktober 2010 @ 22:39:
[...]
Ja maar... UUID's zijn er juist om niet in chaos te komen als je sda opeens sdd is.. Die UUID verandert namelijk niet als je schijf opeens op een ander poortje zit, of, zoals bij jou, er een RAID-controller vindt dat hij belangrijker is dan de onboard-poortjes

Ik wordt gek denk ik

Het lijkt erop dat mijn netwerkpoort stuque is oid. Daarom dacht ik dat het door die wandelende disk kwam dat eea het ineens niet meer deed. Ik dacht overigens ook dat UID wel handiger zou zijn voor dit soort gevallen, maar ja...het werkt ineens niet meer. Op zo'n moment geef je datgene wat veranderd is de schuld (logisch?)

Uiteindelijk ben ik erg simpel, als het te lang duurt om iets te herstellen en in onduidelijke toestand verder te gaan, druk ik gewoon maar weer het installatiecdtje erin. Er staat toch nog niets belangrijks op, dus ik verlies er alleen wat tijd mee. En ik heb geen zin in kloterij achteraf als er toch iets niet lekker zit. Want 10Tb kwijt zou me wél weer ziek maken.

Maar goed...op een of andere manier gaat er geen lampje branden bij de netwerkpoort en gaat er geen bit door de eth0. Er wordt geen storing aangegeven. Ik dacht nog even dat misschien de RAID kaart 'in de weg' zat, maar dat zou raar zijn, want die zit er al het hele weekend in. Disks losgekoppeld, maar dat maakt ook niets uit. Het is laat, ik kap er even mee. Even Soprano's kijken, slapen en morgenavond maar weer verder. Ik hoop niet dat de netwerkpoort kaduuk is, want dan kan ik weer een week op RMA gaan wachten. Weird dat de boel me zo tegenwerkt...

[Jasper Janssen]

Het TLER (& co) probleem met desktop drives lijkt me iets dat je zeker in de eerste x tijd van je array zo goed als nooit te zien kan krijgen -- zo'n fout tijdens Read die extreem lang duurt vereist a) hoge load en b) een unrecoverable error, en zelfs als b) er is dan is de kans in thuis setups vrij klein dat er aan a) wordt voldaan.

Ik zit zelf op dit moment met twee vragen, voor het uitbreiden van mijn storage schijfje:
server08:/storage/main/public 2.8T 2.5T 134G 96% /media/storage-main

- Welke 3-platter, 5400 rpm drive gaat het worden? De goedkopere Samsung F4EG? Of de iets duurdere WD20EARS-00MVWB0 (Greenpower 2 TB/4kB in emu/nieuwe versie met 3 platters)?

- Welke configuratie? In eerste instantie wilde ik de 4x1=3 RAID5 gaan vervangen door 4x2=6, maar gezien de huidige prijzen kan er misschien best wel een onsje meer af. Raid 5 5x2=8 zou denk ik nog wel kunnen, maar bij 6x2=10 begin ik me ongemakkelijk te voelen kwa foutgevoeligheid. Mijn volgende stap zou dan wsch zijn Raid6 8x2=12. Wat vinden jullie, 8 schijven moeten die in raid6, of raid5 met 1 hs?

- Misschien toch eens tijd om na te denken over performance. Nu hangt de hele array van 4 schijven achter 1 PCI 32/33 slot, en is dus gelimiteerd tot 133 MB/sec aggregate bandwidth. Dat betekent 100 MB effectief voor writes en 100 of 133 voor reads (ik weet niet of linux swraid ook bij reads de parity leest en vergelijkt). Rebuilds, echter, gaan met 133/4=33 MB/sec max theoretisch, oftewel 25-28 MB/sec realistisch, oftewel zo'n 40.000 secs = dik 11 uur (wat redelijk overeen komt met geobserveerde tijden, give or take een uurtje).

Stel dat ik in extremis ga voor 8 disk raid 6, dan blijft de read/write op 100 MB/sec steken maar een rebuild van 1 schijf vereist 6 reads plus 1 write is 133/7 = 19 theoretisch, waarschijnlijk meer overhead bij een dergelijke setup is max 15 meg/sec effectief, en dat bij een 2 tb spindel, wordt 130-140.000 secs is dik 1.5 dag, misschien wel 2 dagen. De snelheid halveert en de op te leveren maat verdubbelt, dus een factor 4 minder snel rebuilden.

Mogelijke oplossingen: De Supermicro AOC-SASLP is redelijk te betalen, ietsje duurder dan de sat2 maar nog te doen voor 100 + 2x 25 voor mSAS-> 4xSATA fanout kabels, en levert dan 8 maal 300 MB/s SAS/SATA channels gekoppeld aan een pcie 1.0 x4 voor 1000 MB/sec. Daarmee is dan de bus speed geen bottleneck meer. Iemand andere ideeen?

Achtergrond:

Huidige setup is sinds kort niet meer een P3B-F met slotket-T en 1.4 celeron, maar een Pentium something or other s775 C2D-based dualcore op een simpel mATX asus mobotje met 2 GB ram.

Case is een NSK6000, met een Seasonic S12 430W, plus een coolermaster 4in3 Mk 1 met Nexus fan. Plan is om deze te upgraden naar een Sharkoon Rebel12 value met daarin 4x Coolermaster 4in3 Mk 2 met Nexus fan. Mogelijk maar 3 van die units voorlopig nodig, maargoed, een tientje meer of minder maakt in zo'n projectje ook niet uit.

Storage: OS drive is een WD3200KS en WD5000KS (of mogelijk AAKS) in RAID1 (dat was 2x 320 maar die zijn geimplodeerd) aan de mobo headers, storage array is 4x WD10AAKS in swraid level 5. Deze hangen aan een Supermicro AOC-SAT2-MV8, een PCI-X 8x SATA kaart die in mijn setup nooit verder is gekomen dan PCI32/33.

Software: Ubuntu 9.10 Server. Wordt eens tijd voor een echte reinstall want hij is onder wat geforceerde omstandigheden een aantal malen geupgrade terwijl dat in eerste instantie niet het plan was.

[Verwijderd]

Qua controller zou je meer succes kunnen hebben met LSI 1068E; die werkt op vrijwel alle OS goed in tegenstelling tot de Marvell controller op MV8 en SASLP die het geloof ik alleen in linux redelijk doen.

Ik hoop echter dat je PCI ver van je zult laten liggen. Want die 133MB/s vertelt het verhaal niet. PCI betekent een zeer trage I/O setup en de PCI->SATA chips zijn oud, buggy en een bron van problemen. Waarom niet voor een nette oplossing?

Intel SASUC8i
SuperMicro USAS-L8i

goedkoop en goed, bovendien werken ze op vrijwel alle OS.

[Jasper Janssen]

Verwijderd schreef op woensdag 06 oktober 2010 @ 13:55:
Qua controller zou je meer succes kunnen hebben met LSI 1068E; die werkt op vrijwel alle OS goed in tegenstelling tot de Marvell controller op MV8 en SASLP die het geloof ik alleen in linux redelijk doen.

Ik hoop echter dat je PCI ver van je zult laten liggen. Want die 133MB/s vertelt het verhaal niet. PCI betekent een zeer trage I/O setup en de PCI->SATA chips zijn oud, buggy en een bron van problemen. Waarom niet voor een nette oplossing?

Intel SASUC8i
SuperMicro USAS-L8i

goedkoop en goed, bovendien werken ze op vrijwel alle OS.

Tja, mijn thuisnetwerk is 100 Mbit, dus in het dagelijkse gebruik merk ik er niet zoveel van, eigenlijk alleen bij rebuilds. met meer dan vier drives echter...

Ik zit inderdaad ook te dubben over mogelijk een ander OS, voornamelijk zodat ik ZFS zou kunnen gaan gebruiken. Bedankt voor je tips met controllers, ik neem dat die beiden de LSI chip hebben die je noemt? Ik ga dit vanavond eens uitgebreid onderzoeken.

[vargo]

Verwijderd schreef op woensdag 06 oktober 2010 @ 13:55:
Qua controller zou je meer succes kunnen hebben met LSI 1068E; die werkt op vrijwel alle OS goed in tegenstelling tot de Marvell controller op MV8 en SASLP die het geloof ik alleen in linux redelijk doen.

Ik hoop echter dat je PCI ver van je zult laten liggen. Want die 133MB/s vertelt het verhaal niet. PCI betekent een zeer trage I/O setup en de PCI->SATA chips zijn oud, buggy en een bron van problemen. Waarom niet voor een nette oplossing?

Intel SASUC8i
SuperMicro USAS-L8i

goedkoop en goed, bovendien werken ze op vrijwel alle OS.

De Intel SASUC8i is een rebranded LSI SAS3081E-R, maar doorgaans stuk goedkoper (~130eur ipv 200eur+).
Ik heb deze in mijn bezit: werkt perfect icm OpenSolaris b134 / 8x 1.5TB samsung disks (aangesloten met SAS kabels in Norco 3116). De keuze voor deze kaart was mede omdat zo'n beetje ieder OS (linux / BSD / solaris / windows) supported is.

[mphilipp]

Hmmm...een nachtje rust heeft het systeem goed gedaan, want vanmiddag deed het netwerk het ineens weer

Goed, ik heb nu net de Open Source drivers voor de RocketRaid gecompileerd, want de specifieke Ubuntu drivers (eigenlijk alle drivers voor specifieke distro's) zijn hopeloos oud. Gelukkig vond ik een goede guide om dit te doen, want ik ben geen compileerder (just an dumb Oracle farmer).

Het heeft gewerkt, want ik ben nu een partitie aan het maken op de RAID5 array. Geen idee hoe lang dat duurt, maar het ziet er goed uit. Later de boel formatteren en kijken hoe snel het is.

[Q]

Als je het niet erg vindt om je systeem een paar dagen te stressen zou ik gewoon gecontroleerd dit script draaien:

http://louwrentius.blogsp...-benchmarking-script.html

Dan kun je voor jezelf een optimum vinden. Zou het leuk vinden als het op een andere array wordt gedraaid ter vergelijking.

[ Voor 13% gewijzigd door Q op 06-10-2010 21:53 ]

[mphilipp]

Q schreef op woensdag 06 oktober 2010 @ 21:45:
Als je het niet erg vindt om je systeem een paar dagen te stressen zou ik gewoon gecontroleerd dit script draaien:

http://louwrentius.blogsp...-benchmarking-script.html

Dan kun je voor jezelf een optimum vinden.

Dat ga ik ook doen. Maar eerst draai ik het in een aangepaste vorm, omdat ik begin met de RAID array van de kaart zelf. Daarna maak ik er weer 6 JBOD's van en dan kan ik jouw script uitproberen. Ik denk trouwens dat ik die ook aanpas, want het lijkt me niet echt nodig om alle chunksizes uit te gaan proberen. Ik prik er gewoon een paar uit. Volgens mij kom ik toch wel op 64K uit, maar goed, meten is weten (en gissen is missen!).

Mooi scrippie iig, ik kan ze zelf niet zo goed schrijven, maar aanpassen en iets bij elkaar stelen lukt me altijd wel

[edit]
Pfff...duurt dat initialiseren van zo'n array altijd zo lang? Gisteravond om 19:52 is het initialiseren begonnen, en hij is nu op 30%...duurt nog wel ruim een dag voor ik iets kan doen...
Hmm...blinde geit: er staat gewoon onder hoe lang het nog duurt: remaining time:19:33:07

[ Voor 13% gewijzigd door mphilipp op 07-10-2010 08:09 ]

[PeterPan]

Wat gebeurt er eigenlijk bij het initialiseren van een RAID? Volledige surface scan van alle disks oid?

Ik heb alleen ervaring met HP controllers en daar is een nieuw aangemaakt RAID volume direct beschikbaar voor het OS. Wel is het zo dat de controller dan een tijd lang op de achtergrond nog bezig is met parity initialisatie oid, dit gaat in theorie wel ten koste van performance maar in de praktijk merk je daar niet zoveel van (de priority is ook nog eens in te stellen).

[Verwijderd]

Bij mijn HP, Highpoint en Areca kan ik inderdaad ook voor background initialisation kiezen, dan kan ik het volume inderdaad meteen gebruiken. Wat de controller daarbij doet weet ik eigenlijk niet, wel een interessante vraag.

[DJ-Visto]

Hier ook, tijdens initialsation heb ik de array voor 1.5TTB (van de 2TB) vol gepompt, niks corrupt dus ik zou zegen mount hem en ga aan de slag

[mphilipp]

Verwijderd schreef op donderdag 07 oktober 2010 @ 10:54:
Bij mijn HP, Highpoint en Areca kan ik inderdaad ook voor background initialisation kiezen, dan kan ik het volume inderdaad meteen gebruiken. Wat de controller daarbij doet weet ik eigenlijk niet, wel een interessante vraag.

Gezien het systeem van RAID5 denk ik dat ie een structuur aanmaakt voor de data en de paritytoestand. Op het moment dat er iets opgeslagen moet worden, moet ie de data ergens in kunnen kiepen en de checksum in de database wegkrassen. Het lijkt mij dat ie daar een structuurtje voor heeft die eerst moet worden aangemaakt. Ik laat 'm lekker uitrazen en ga pas verder als ie klaar is. Ik ga de goden niet uitdagen...

[Jasper Janssen]

PeterPan schreef op donderdag 07 oktober 2010 @ 09:51:
Wat gebeurt er eigenlijk bij het initialiseren van een RAID? Volledige surface scan van alle disks oid?

Ik heb alleen ervaring met HP controllers en daar is een nieuw aangemaakt RAID volume direct beschikbaar voor het OS. Wel is het zo dat de controller dan een tijd lang op de achtergrond nog bezig is met parity initialisatie oid, dit gaat in theorie wel ten koste van performance maar in de praktijk merk je daar niet zoveel van (de priority is ook nog eens in te stellen).

Bij mijn Linux softwareraid precies hetzelfde, bij een raid5 volume worden de drie "noodzakelijke" disks samengevoegd tot een volume met semi-random data erin, die je dus mooi kan wipen en nieuwe filesystems op maken enzo, en ondertussen wordt de parity disk gegenereerd en dus volgezet met nog meer random, maar consistente, data vanuit de andere drie. Uiteraard gebeurt dit "online".

Let wel op dat (zeker gezien mijn nogal anemische controller) dit met een zeer significante performance hit gepaard gaat. Het is beter om even een dagje te wachten tot je array klaar is en dan pas data erop te dumpen.

[ Voor 10% gewijzigd door Jasper Janssen op 07-10-2010 15:13 ]

[Verwijderd]

vargo schreef op woensdag 06 oktober 2010 @ 16:30:
[...]

De Intel SASUC8i is een rebranded LSI SAS3081E-R, maar doorgaans stuk goedkoper (~130eur ipv 200eur+).
Ik heb deze in mijn bezit: werkt perfect icm OpenSolaris b134 / 8x 1.5TB samsung disks (aangesloten met SAS kabels in Norco 3116). De keuze voor deze kaart was mede omdat zo'n beetje ieder OS (linux / BSD / solaris / windows) supported is.

Ik heb mijn USAS-L8i voor 110 euro ofzo weten te krijgen; maar dan moet je wel zonder bracket draaien aangezien de Supermicro UIO formaat is; wel normaal PCI-express maar de componenten zitten aan de 'verkeerde' zijde. Om dit op te lossen kun je een aangepast bracket gebruiken of gewoon zonder bracket in je server duwen, zoals ik heb gedaan.

Wat betreft andere versies van de LSI 1068E: die zullen hoogstwaarschijnlijk allemaal werken. Maar besef wel dat sommige controllers standaard met RAID firmware worden verstuurd. De Intel SASUC8i is zo'n voorbeeld. Je kunt die controllers flashen met de SuperMicro 'IT-firmware' en dan wordt het een normale controller zonder RAID; wat je wilt als je met ZFS aan de slag gaat!

De LSI 1068E werkt goed onder vrijwel alle OS (OpenSolaris, FreeBSD, Linux, Windows). Enig puntje is dat smartmontools daemon "smartd" duizenden SMART requests naar de controller stuurt per seconde, en dat vindt de controller niet zo leuk. Dus onder Linux zou je wel smartmontools kunnen gebruiken, maar moet je smartd uitzetten of een gepatchde smartd gebruiken die dit probleem niet heeft. Verder geen groot punt en een prima controller met alle vrijheid om van OS te kunnen wisselen; iets wat met ZFS toch wel handig is!

[Jasper Janssen]

Ik heb net even zitten kijken naar de Supermicro literatuur over UIO, maar ik zie totaal niet de grap ervan. Hoezo "becomes part of the motherboard"? Het blijft toch gewoon een pcie kaart die precies hetzelfde zou werken als ze het fysieke slot aan de normale kant van de bracket hadden gelaten?

Het lijkt haast wel of Supermicro wil voorkomen dat hun AOC kaarten door mensen zoals ik worden gebruikt buiten hun hardware...

[Demo]

Het kan zijn dat die kaart alleen de fysieke aansluitingen toevoegt en dat de logica in de chipset zit.. Dit kom je ook vaak tegen bij (Dell) pc's met onboard video, je kan daar een PCIe-kaart bij bestellen met een DVI, dat is geen losse videokaart maar alleen een printplaatje met één chip en een DVI-aansluiting.
Het lijkt me sterk dat Supermicro een volwaardige SAS-kaart gebruikt en die dan doelbewust beperkt om gebruik in andere systemen tegen te gaan..

[Q]

PeterPan schreef op donderdag 07 oktober 2010 @ 09:51:
Wat gebeurt er eigenlijk bij het initialiseren van een RAID? Volledige surface scan van alle disks oid?

Ik heb alleen ervaring met HP controllers en daar is een nieuw aangemaakt RAID volume direct beschikbaar voor het OS. Wel is het zo dat de controller dan een tijd lang op de achtergrond nog bezig is met parity initialisatie oid, dit gaat in theorie wel ten koste van performance maar in de praktijk merk je daar niet zoveel van (de priority is ook nog eens in te stellen).

Je kunt ook arrays aanmaken zonder deze background check. De eerste keer met nieuwe disks is dat niet slim. omdat je met die check vooral controleert of de hardware deugt.

Maar als je de array daarna wist en opnieuw aanmaakt is deze check niet echt nodig.

In mijn benchmark script, waarbij dit herhaaldelijk gebeurt, gebruik ik de --assume-clean optie.

Scheelt een hoop tijd. Zeker als je zelf aan het testen bent voor een optimale setup.

[Q]

mphilipp schreef op woensdag 06 oktober 2010 @ 21:56:
[...]

Pfff...duurt dat initialiseren van zo'n array altijd zo lang? Gisteravond om 19:52 is het initialiseren begonnen, en hij is nu op 30%...duurt nog wel ruim een dag voor ik iets kan doen...
Hmm...blinde geit: er staat gewoon onder hoe lang het nog duurt: remaining time:19:33:07

Met 2 TB schijven van 5400 RPM is dit niet vreemd, maar is dit software RAID met de HighPoint driver of via MDADM?

De 'rebuild time' en initialisatie periode hangt af van de snelheid en grootte van een individuele disk niet van de grootte van je array of het aantal disks.

De enige aanvullende limit is de bandbreedte van je moederbord en de snelheid van je cpu / controller. Maar meestal is vooral de disk zelf de limiet.

Daarom is RAID 6 bij grotere aantallen disks zeker met 2 TB disks eigenlijk een must.

Voor test-doeleinden kun je btw gerust die --assume-clean optie gebruiken. Scheelt een hoop tijd.

[mphilipp]

Q schreef op donderdag 07 oktober 2010 @ 21:59:
[...]
Met 2 TB schijven van 5400 RPM is dit niet vreemd, maar is dit software RAID met de HighPoint driver of via MDADM?

Ik test eerst met RAID via de HighPoint kaart. Ik laat 'm ook gewoon uitrazen, zeker voor de eerste keer is dat een goede check. Ik ga voor de tests de scripts van Q gebruiken, dus die assume clean optie staat daar in.

Ik had me ook wel voorbereid op een lange wachttijd. Ik ben inmiddels allang blij dat het werkt. Ondertussen heb ik ook sabnazb opgezet, en die mag lekker downloaden naar de RAID0 disks, wat naderhand naar de grote array mag. Zo is het downloaden, uitpakken en nabewerken lekker snel. Lijkt me niet slim om daar die raid5 array mee te pesten.

[vargo]

Verwijderd schreef op donderdag 07 oktober 2010 @ 15:40:
[...]
Ik heb mijn USAS-L8i voor 110 euro ofzo weten te krijgen

Deze had ik in 1e instantie besteld, maar heb na 6+ weken toch mijn bestelling aangepast omdat deze kaart niet te leveren was.

Wat betreft andere versies van de LSI 1068E: die zullen hoogstwaarschijnlijk allemaal werken. Maar besef wel dat sommige controllers standaard met RAID firmware worden verstuurd. De Intel SASUC8i is zo'n voorbeeld.

Dit was met mijn SASUC8i niet nodig: kaart erin, disks eraan, OS starten en kon meteen ZFS array creeëren.
edit: dwz dat mijn disks allemaal netjes als single disks herkend werden.

[ Voor 5% gewijzigd door vargo op 08-10-2010 11:09 ]

[mphilipp]

Heeft iemand enig idee waarom ik de kernel module van de HighPoint kaart toch steeds handmatig moet laden, ondanks dat ik dit zie in de kernel.log:

code:

Oct  8 19:25:55 nas kernel: [    1.935204] rr2680: module license 'Proprietary' taints kernel.
Oct  8 19:25:55 nas kernel: [    1.935207] Disabling lock debugging due to kernel taint
Oct  8 19:25:55 nas kernel: [    1.936501] rr2680:RocketRAID 268x controller driver v1.4 (Oct  6 2010 21:01:43)
Oct  8 19:25:55 nas kernel: [    1.936525] pci 0000:02:00.0: PCI INT A -> GSI 18 (level, low) -> IRQ 18
Oct  8 19:25:55 nas kernel: [    1.936529] pci 0000:02:00.0: setting latency timer to 64
Oct  8 19:25:55 nas kernel: [    1.936546] rr2680:adapter at PCI 2:0:0, IRQ 18
[knip]
Oct  8 19:25:55 nas kernel: [    6.493837] rr2680:Attached device index 00 (Path 00 | Target 00 | E0/Sff)  00000000
Oct  8 19:25:55 nas kernel: [    6.500011] rr2680:Attached device index 01 (Path 01 | Target 00 | E0/Sff)  00000000
Oct  8 19:25:55 nas kernel: [    6.500011] rr2680:Attached device index 02 (Path 02 | Target 00 | E0/Sff)  00000000
Oct  8 19:25:55 nas kernel: [    6.500011] rr2680:Attached device index 03 (Path 03 | Target 00 | E0/Sff)  00000000
Oct  8 19:25:55 nas kernel: [    6.500011] rr2680:Attached device index 04 (Path 04 | Target 00 | E0/Sff)  00000000
Oct  8 19:25:55 nas kernel: [    6.500011] rr2680:Attached device index 05 (Path 05 | Target 00 | E0/Sff)  00000000

Ik heb de driver in de /etc/modules gezet en hij lijkt dus wel te laden, maar als ik de HighPoint management server (dat webding) wil starten, zegt ie dat de driver niet is geladen. Als ik vervolgens 'sudo modprobe rr2680' doe, gaat het weer wél.

Ik denk dat ik iets over het hoofd zie...

[dzn]

Hey,

Ik zoek een geschikt OS voor mijn fileserver. Ik wil graag iets als unRaid maar dan met de mogelijkheid om zelf makkelijk uit te breiden en packages te installeren. ( Bovendien zijn de drivers in unraid verouderd en ondersteunen ze mijn netwerkchip niet ).

Wat ik nodig heb:
- Makkelijk uit te breiden ( apache, torrentserver, dnsserver,....)
- Een vorm van veiligheid... één disk wordt nog herbouwd was ideaal.
- Geen stripping => 2 disken kappot => enkel data op die 2 kwijt!!

Wat ik niet nodig heb:
- Snelheid ( geen stripping nodig )

Ik heb al wat rondgezocht maar vond niet direct iets geschikt... Het zou dus eigenlijk iets zijn dat in een linuxinstallatie te installeren is ( werk graag met debian systemen ) en gewoon een parity disk opbouwt van de andere datadisks.

Ps. Is er een webui ofzo beschikbaar om samba in te stellen? Dit geeft soms nogal eens moeilijkheden en ging erg makkelijk met unraid.

[mphilipp]

dzn schreef op vrijdag 08 oktober 2010 @ 19:54:
Ik heb al wat rondgezocht maar vond niet direct iets geschikt... Het zou dus eigenlijk iets zijn dat in een linuxinstallatie te installeren is ( werk graag met debian systemen ) en gewoon een parity disk opbouwt van de andere datadisks.

Ps. Is er een webui ofzo beschikbaar om samba in te stellen? Dit geeft soms nogal eens moeilijkheden en ging erg makkelijk met unraid.

Ubuntu met mdadm is perfect voor wat je wilt. En met WebMin kan iedereen een Linux doos beheren. Je kunt daar ook erg makkelijk je Samba shares, Linux RAID en LVM mee beheren. Retesimpel.

En natuurlijk Google...

[mphilipp]

Poe! Net even deel 1 van mijn benchmark gedraaid op de nieuwe NAS (Nassie Speciaal). Zoals aangekondigd, wilde ik het verschil tussen RAID5 via de HighPoint kaart en softraid mbv Mdadm testen, en meteen het verschil tussen XFS en EXT4. Alle testen doe ik met hetzelfde script op hetzelfde systeem, dus voor deze setup is het goed vergelijkbaar.

Ik startte met 'poe' omdat ik een nogal dramatisch verschil zag tussen XFS en EXT4. Ik monitor wat er op het systeem gebeurt met htop en ik zie dat EXT4 veel meer CPU vergt (is misschien aardig om aan dat script ook de systeembelasting toe te voegen). Het formatteren van de array kost onder EXT4 ook veel meer tijd. Vreemd, ik had een dergelijk verschil nooit verwacht.

Goed, de cijfers spreken ook voor zich. Allereerst dus de hardware RAID5 opstelling waar ik dus de RAID5 array aanstuur via de HighPoint kaart met een 64K chunksize.
Met EXT4
Write 399Mb/s
Read 336Mb/s

Met XFS
Write 487Mb/s
Read 337Mb/s

Interessant, niet? Vooral de write performance is behoorlijk hoger. Lezen maakt dus geen ruk uit.
Momenteel draait de boel onder softraid (de schijven zijn nu als 6 JBOD's geconfigureerd) en wordt het script in zijn originele vorm gedraaid, maar met een paar kleine aanpassingen:
* ik test niet alle chunk sizes, maar alleen 32 64 256 512
* ik test alleen RAID 5
Bovendien test ik nu alleen XFS; ik ben wel overtuigd van die performance, dat hoef ik niet nog een keer te zien onder softraid. Volgens mij zit XFS iets beter geïntegreerd in de kernel, want de hogere CPU belasting nekt EXT4 dus gewoon.

Een andere aardige observatie is de goede werking van die low-budget CoolerMaster drivebay. Die dingen kosten nog geen €20 en houden de drives (ik heb 2 van die dingen, 1 met 4 drives en 1 met 2 stuks) heerlijk koel: de koudste is 25C en de warmste 30C. De bay is bovendien dmv een hele simpele maar slimme constructie in rubber opgehangen, dus je hoort de toch al stille Samsungs totaal niet. Ze zouden toch niet boven alle fans uitkomen...

Tot zover dit tussenrapport. Als de softraid is uitgeraasd, rapporteer ik die cijfers ook meteen. Met dank aan Q voor het mooie script.

[edit]
Het gaat allemaal sneller dan ik gedacht had. Alleen is de uitkomst anders dan voorgesteld. Softraid is wat writespeed betreft niet echt sneller. Hier de cold hard facts (in Mb/s):

code:

| CHUNKS | LEVEL | WRITE | READ |
      32       5     294    141
      64       5     296    194
     256       5     186    394
     512       5     139    439

Leessnelheid is dan weer wél sneller, maar de schrijfsnelheid is nou niet om over naar huis te schrijven als je de snelheid van de hardware raid hebt gezien. Ik denk dus dat hardware raid en XFS de beste performance biedt op mijn systeem.

[ Voor 11% gewijzigd door mphilipp op 08-10-2010 23:21 ]

[dzn]

mphilipp schreef op vrijdag 08 oktober 2010 @ 20:16:
[...]

Ubuntu met mdadm is perfect voor wat je wilt. En met WebMin kan iedereen een Linux doos beheren. Je kunt daar ook erg makkelijk je Samba shares, Linux RAID en LVM mee beheren. Retesimpel.

En natuurlijk Google...

Maar ik wil enkel een parity disk.. geen stripping. Ik had graag gewild dat als er één schijf kappot zou gaan deze kan herbouwd worden. Wanneer er meer kappot gaan wil ik niet dat al mijn data verloren gaat enkel diegene op de schijven die het opgegeven hebben.
Welk raid level zou ik dan moeten gaan gebruiken?

Ik bedoel bv 5 data schijven en 1 parity schijf...