Het grote DIY RAID NAS topic deel 3

[Zware Unit]

Helaas kan mijn moederbord max 8GB aan. Even snel voor de liefhebbers een grafiek gemaakt. Duidelijk is dat pas bij bestanden van boven de 6GB de echte performance van mijn RAIDZ2 wordt getoond.

[ Voor 4% gewijzigd door Zware Unit op 16-07-2011 16:14 ]

[FireDrunk]

Hij bedoeld 16GB filesize

[Zware Unit]

Vandaar dat ik begin dat mijn moederbord maar 8GB aan kan...

[FireDrunk]

Dus jij kan geen dd if=/dev/zero of=/mnt/storage/nullfile.bin bs=1m count=16000 doen, want dan krakt je moederbord?

[Zware Unit]

ahhh.... dus maar goed dat ik hem in mijn grafiek heb meegenomen

[FireDrunk]

ik zeg niks

[Sleepie]

Ik heb net het tuneraid scriptje eens gedraaid op mijn raid, maar hier geeft het geen verschil.

Voor:

hans@WEGA:~$ dd if=/dev/zero of=/mnt/raid/data/nullfile.dat  bs=1M count=16000
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 35.1408 s, 477 MB/s
hans@WEGA:~$ dd if=/mnt/raid/data/nullfile.dat of=/dev/null bs=1M
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 26.9775 s, 622 MB/s

Na:

hans@WEGA:~$ dd if=/dev/zero of=/mnt/raid/data/nullfile.dat bs=1M count=16000
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 36.8054 s, 456 MB/s
hans@WEGA:~$ dd if=/mnt/raid/data/nullfile.dat of=/dev/null bs=1M
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 28.6048 s, 587 MB/s

[whocarez]

DJ-Promo schreef op zaterdag 16 juli 2011 @ 16:07:
Netjes! Kun je het ook even testen met 16GB .

Beetje off topic, ik heb een switch nodig om zo alles netjes 1000Mbp aan te sluiten.
http://global.level1.com/...itches/GEU-0820/1448.html

Is dit wat? Had voornamelijk me NAS met een 1 op 1 verbinding aan mijn desktop en die heeft dan internet via wifi.
Heb ook een Xbox 360 en laptop op me kamer staan en hopelijk binnen kort een mediaplayer / htpc.
Heb vanuit de router 1 netwerk aansluiting op me kamer waaraan ik die switch wil hangen en dan alles voorzien vanuit die swtich behalve mijn laptop.

heb zelf een linksys slm2008 met een sisco firmware ideaa QoS vlan e.d. ideaal voor oa vmware en vrienden

[Verwijderd]

Zware Unit schreef op zaterdag 16 juli 2011 @ 16:14:
Helaas kan mijn moederbord max 8GB aan. Even snel voor de liefhebbers een grafiek gemaakt. Duidelijk is dat pas bij bestanden van boven de 6GB de echte performance van mijn RAIDZ2 wordt getoond.

[afbeelding]

Interessante benchmark Zware Unit; dank hiervoor!

Ik ga er vanuit dat je nog steeds je Areca controller gebruikt maar allemaal aparte arrays hebt gemaakt of Pass Through disks of de controller in 'JBOD' mode gebruikt? Dus allemaal afzonderlijke 'single disk arrays' (/dev/daX) die in RAID-Z2 worden geplaatst, right? Heb je daarbij de Write-back nog aanstaan?

Misschien is het interessant om de volgende benchmarks te doen:
- Passthrough/JBOD met write-back in RAID-Z2
- Passthrough/JBOD zonder write-back in RAID-Z2
- Areca RAID5/6 met write-back (single disk pool)
- Areca RAID5/6 zonder write-back (single disk pool)

Als je de tijd hebt natuurlijk! Voordeel van RAID-Z(2) benchmarks is dat je niet op een resync hoeft te wachten; bij Areca is dat helaas wel zo geloof ik; althans ik kon bij mij de initialization niet overslaan. De eerste twee benchmarks zouden wel vrij snel kunnen; gewoon de BIOS in en write-back switchen; je hoeft zelfs je RAID-Z niet opnieuw te maken.

Helemaal fantastisch zou zijn als je deze resultaten in dezelfde grafiek kunt integreren; met voor elke configuratie een aparte kleur. Kijk maar of je zin hebt nog verder te benchmarken; maar je huidige resultaten zijn al heel interessant.

[iMars]

DJ-Promo schreef op zaterdag 16 juli 2011 @ 16:07:
Netjes! Kun je het ook even testen met 16GB .

Beetje off topic, ik heb een switch nodig om zo alles netjes 1000Mbp aan te sluiten.
http://global.level1.com/...itches/GEU-0820/1448.html

Is dit wat? Had voornamelijk me NAS met een 1 op 1 verbinding aan mijn desktop en die heeft dan internet via wifi.
Heb ook een Xbox 360 en laptop op me kamer staan en hopelijk binnen kort een mediaplayer / htpc.
Heb vanuit de router 1 netwerk aansluiting op me kamer waaraan ik die switch wil hangen en dan alles voorzien vanuit die swtich behalve mijn laptop.

Ik zat te denken aan die van TP-Link:
http://www.alternate.nl/h...werk&l2=Hubs+%26+Switches
http://www.alternate.nl/h...werk&l2=Hubs+%26+Switches

offtopic:
Wat is eigenlijk het verschil tussen bovenstaande twee?

[Wirehead]

Voor degene die nog aan de slag zijn met de WD EARS schijven, hierbij "een verslag" van hetgeen ik gedaan heb om een RAID10-setup (mdadm) met 4 van die disks "snel" te maken (icm iscsi-scst op Debian 6.0 amd64):

1. wdidle3 /S300 - doe je dit niet; dan zorgen de head-parks voor vertragingen. wdidle3 i.c.m. /D (disable) gebruiken werkt niet, hoewel de idle timer dan zogezegd uitstaat volgens de tool.
2. alignment! - bij deze disks is alignment van groot belang. Voeg dan ook alleen partities aan de raidset toe die aligned zijn. De 1TB disks kun je zo alignen:
   code:
   

   parted /dev/sdb unit s mkpart primary 40 1953525167

   Parted kan een melding geven over alignment - negeer dit. let wel - dit is berekend op een stripe size van 64k; en na het indelen van de disk volgens GPT structuur
3. Verschillende tweaks: niet uit de lucht gegrepen - na verschillende disk testen met testfile 4xRAM
   code:
   

   # keep at least 128MB free from diskcache to let kernel use it - accelerates flushes
   sysctl -w vm.min_free_kbytes=131072
   
   # big speed impro - let scheduler handle queueing
   echo 1 > /sys/block/sdb/device/queue_depth
   echo 1 > /sys/block/sdc/device/queue_depth
   echo 1 > /sys/block/sdd/device/queue_depth
   echo 1 > /sys/block/sde/device/queue_depth
   
   # set read-ahead - tested best value with 64K stripe on raid10 using WD10EARS
   blockdev --setra 65536 /dev/md3
   
   # set disk read-ahead - tested best value with 64K stripe on raid10 using WD10EARS
   blockdev --setra 256 /dev/sdb
   blockdev --setra 256 /dev/sdc
   blockdev --setra 256 /dev/sdd
   blockdev --setra 256 /dev/sde
   
   # up the number of requests in queue from 128 to 512 - better bursts
   echo 512 > /sys/block/sdb/queue/nr_requests
   echo 512 > /sys/block/sdc/queue/nr_requests
   echo 512 > /sys/block/sdd/queue/nr_requests
   echo 512 > /sys/block/sde/queue/nr_requests

Bijkomende info bij de tweaks:

• vm.min_free_kbytes: Deze tweak heb ik toegevoegd om minstens 128MB RAM te vrijwaren van de file-cache ivm memory starvation i.c.m. iscsi-scst. Ik gebruik fileIO om m'n targets te cachen; maar de filecache had bij full load een impact naar iscsi-scst toe. (te zien via benches met cache vs. benches met flushed cache; waar opeens flushed cache sneller was...)
• queue_depth op block devices: NCQ in andere woorden. Default value is 31 - geen native command queueing was sneller op tests.
• blockdev --setra 65536 /dev/md3: deze read-ahead value op de array gaf mij de beste sequential/random performance i.c.m. een 64K stripe size.
• blockdev --setra 256 /dev/sdb: wederom; beste trade-off sequential/random
• echo 512 > /sys/block/sdb/queue/nr_requests: verhoog het maximaal aantal requests van de default 128 naar 512 - gaf betere burst speeds

Storage set-up:
AMD Athlon(tm) Processor LE-1640 - 2GB RAM - WD10EARS
RAID10-array wordt via iscsi-scst gepresenteerd aan ESXi 4.1
Uiteindelijk resultaat array:

code:

root@atlas:/opt/scripts# ./test_raidspeed 
Read 8GB from disk
131072+0 records in
131072+0 records out
8589934592 bytes (8.6 GB) copied, 25.1235 s, 342 MB/s

single disk:

code:

root@atlas:/opt/scripts# hdparm -tT /dev/sdb1 

/dev/sdb1:
 Timing cached reads:   2034 MB in  2.00 seconds = 1016.97 MB/sec
 Timing buffered disk reads: 264 MB in  3.01 seconds =  87.74 MB/sec

Hiervan uitgaande dat ik per partitie +- 88MB/sec lees, zou de theoretische read van de array 352 moeten zijn. 342 MB/s real-life is dan OK voor mij

[Verwijderd]

Zware Unit schreef op zaterdag 16 juli 2011 @ 16:14:
Helaas kan mijn moederbord max 8GB aan. Even snel voor de liefhebbers een grafiek gemaakt. Duidelijk is dat pas bij bestanden van boven de 6GB de echte performance van mijn RAIDZ2 wordt getoond.

[afbeelding]

heb even terug gebladerd maar kan het niet vinden
hoeveel disks heb je in je raidz2 pool en wat is je os ?

[Zware Unit]

FreeNAS 8.0 en 16 disken (link).

[Verwijderd]

Zware Unit schreef op zaterdag 16 juli 2011 @ 22:10:
FreeNAS 8.0 en 16 disken (link).

hahaha.. ja nou weet ik het weer.. mooi spul (zit te slapen sorry)

[Megalith]

Omdat er vast wel een aantal tweakers zijn die dit wat interesseert, post ik dit hier ook maar even..
Ik heb mijn thuisnetwerk de afgelopen weken flink uitgebreid. De server is van een Fractal Design Define verhuisd naar een Norcotek RPC3116. De linksys WRT320N is verruild voor een HP V1910 16p en een zelfbouw PfSense firewall/router. De 320N doet nu alleen nog dienst als accespoint. En als laatst heb ik een 19" serverrack aangeschaft (BxDxH= 600x800x640 12U). De RPC 3116 heb ik trouwens opgehangen dmv de Norcotek RL-26 rails. Geen handleiding, en dus flink wat uitgevogel om hem te installeren als je niet bekend bent serverrails.
De standaard ventilatoren van de RPC 3116 waren me veel te lawaaierig dus die heb ik vervangen door 4x Sharkoon Silent Eagle 2000 80mm en 2x Fractal Design Silent Fan 60mm. Dat is een héél stuk stiller

Herrie oude fans:
[YouTube: http://www.youtube.com/watch?v=W4XfDONsssk]

In eerste instantie vond ik 19" te duur, te lomp en te lawaaierig, maar ik zocht ook naar een NAS/mITX kastje om alle data naar te backuppen. Al die tig kastjes in een kast kon ook nooit mooi zijn en dus ben ik toch maar wat 19" apparatuur gaan bekijken, en nu staat het er al.

De server bestaat uit het volgende:

• i5 2400
• 16GB RAM
• MSI H67MA-ED55 (B3)
• Intel SASUC8i
• 4x WD GP 2TB
• 4x WD RE4 250GB
• 3x WD GP 1TB
• 2x Intel 1000CT network adapter

De 4x Western Digital Caviar GP 2TB zijn voor alle data. Op drie ervan staan dvd en hd films met muziek, software en foto's. Op dit moment gebruik ik 2,2 TB. Zit nog lang niet aan het limiet dus. Er is op dit moment nog geen RAID oplossing geïntegreerd. Twee keer daags worden alle VM's, foto's, muziek en userdata gebackupped naar de vierde 2TB schijf door middel van Data Protection Manager 2010. De SQL database van sharepoint wordt (volgens mij) om het kwartier/half uur gebakupped, net zoals de mailboxen van Exchange. Op één van de 250GB schijven draait het parent OS waar HyperV dus op draait. Van de andere drie schijven heb ik een RAID-0 array gemaakt om zo veel mogelijk I/O te krijgen voor de virtuele machines die hier op staan. Inderdaad, bij één failende disk ben ik alle data kwijt, maar daar heb ik keurig backups van die in no time teruggezet zijn. =D

Voor over een paar maand heb ik het plan om deze hardware behalve de controller, case en hdd's te verhuizen naar een 2U chassis en daar alleen HyperV op te draaien. In deze case komt dan een quadcore 1155 Xeon met een Supermicro mobo waar FreeNAS op geinstalleerd zal worden. Het is dan de bedoeling dat er zes 2TB schijven in komen waar ik een ZFS RAIDZ2 pool van ga maken, zodat ik eindelijk die redundantie in m'n storage heb. Van de hele belangrijke dingen heb ik nu wel backups, maar het zou toch fijn zijn dat ik mijn data behoud mocht er een disk uitvallen. De VM's komen weer op een RAID0 volume van twee of drie WD RE4 schijven. Door een 80GB Intel 320 SSD toe te voegen als L2ARC en SLOG hoop ik de random read/writes enorm te versnellen, met name voor de VM pool.
Op het nieuwe Supermicro bord zullen twee Gigabit ethernet poorten aanwezig zijn die ik samen met de twee Intel CT adapters zal linken om zo één link van 4Gbit te maken. Ook altijd fijn dat de storage gewoon beschikbaar blijft mocht er een netwerkpoort uitvallen of een kabel per ongeluk los worden getrokken.

De plannen zijn er, nu het geld nog

Foto's: linkie

[ Voor 4% gewijzigd door Megalith op 17-07-2011 00:03 ]

[Weiman]

Hip hoor, erg netjes

Welk 19" rack trouwens? Ben ook wel benieuwd welk supermicro bordje je Atom in zit.

edit: Deze dus. Duur ding, had je niet liever een Lackrack gepakt?

[ Voor 44% gewijzigd door Weiman op 17-07-2011 00:46 ]

[iMars]

Weiman schreef op zondag 17 juli 2011 @ 00:42:
Hip hoor, erg netjes

Welk 19" rack trouwens? Ben ook wel benieuwd welk supermicro bordje je Atom in zit.

edit: Deze dus. Duur ding, had je niet liever een Lackrack gepakt?

De supermicro lijkt erg op mijn boardje:
http://www.supermicro.nl/...OM/ICH9/X7SPA-HF-D525.cfm

Maar het zou ook de X7SPA HF met een D510 kunnen zijn
http://www.supermicro.nl/...H9/X7SPA.cfm?typ=H&IPMI=Y

[Birdie_NL]

fcg123 schreef op zaterdag 16 juli 2011 @ 23:58:
Stuk tekst
Foto's: linkie

Welke 1u behuizing is dit?
http://www.flickr.com/photos/65349789@N08/5943919153/

[Megalith]

Oja, vergeten de firewall erbij te noemen. Gebaseerd op een SuperMicro X7SPA-HF moederbord met Atom D510 inderdaad. Zit in de Supermicro 510T-200B behuizing, echt een super mooi kastje, zeer goede afwerking etc. Ben ook erg tevreden over het mobo, vooral IPMI met KVM over IP is super. Op dit moment staat er PfSense 1.2.3 op geïnstalleerd.

De serverkast is deze: http://www.serverkast.com...-bxdxh-600x800x634mm.html. Ik zat eerst te kijken naar een 2de hands maar kon niet echt eentje vinden die me wel wat leek en ach, met 12U heb ik genoeg ruimte, ook voor uitbreiding. Heb de Lackrack ook gezien Maar zocht een gesloten behuizing om het geluid in ieder geval een beetje te isoleren.

[Jormungandr]

Intussen is mijn M1015 geflashed naar een 9210-8i . Arch is bezig met het installeren en ik hoop deze nacht voor alledrie mijn 2TB drives een volledige scan te kunnen doen.

[johiem]

Hallo,

Ik heb geprobeerd een DIY budget nas samen te stellen. Nou probeer ik een systeem te maken wat niet te groot is en toch redelijk snel.

Mijn vraag is nou of de onderstaande samenstelling zou werken (lijkt me wel), maar vooral als ik beter af ben om deze samenstelling te gebruiken of wat meer te investeren in bijv. QNAP systemen?

De build link.

Ik wou dit gebruiken in samenwerking met FreeNAS, volgens mij biedt dit meer flexibiliteit dan Synology of QNAP systemen.

Ik hoor het graag.

Groeten,

Johiem

[FireDrunk]

Waarom 2 x 1TB voor 90 euro als een 2TB disk 60 euro kost?

[johiem]

FireDrunk schreef op zondag 17 juli 2011 @ 21:31:
Waarom 2 x 1TB voor 90 euro als een 2TB disk 60 euro kost?

Puur om het feit dat ik graag een RAID 1 wil opzetten en nu geen behoefte heb aan een opslag van 2 TB. Op dit moment wil er graag zomin mogelijk geld aan uit geven.

[Verwijderd]

Dan kocht ik mezelf die 2TB disks. Voor die 30 euro kun je geen armoe hebben lijkt me

[johiem]

Daar heb je natuurlijk wel een punt, maar heb voor mezelf een budget gesteld. Deze is nog niet bereikt maar wou graag eerst weten als er nog andere dingen moeten worden aangepast.

Zelf denk ik inderdaad 2 x Tb drives en waarschijnlijk 2x2gb werkgeheugen.

Iemand nog een idee als dit gaat werk ism freenas?

[Verwijderd]

Mja soms is het verstandiger om je budget ietsje op te rekken. Mijn ervaring is dat je nooit genoeg storage kunt hebben, achteraf zul je zien dat je het ding misschien voor meer zaken gaat gebruiken. Voor die paar euro meer ben je ook relatief gewoon een stuk goedkoper uit (wat bij de 3TB disks, nog een stap verder, niet zo is).

[Verwijderd]

Als je FreeNAS neemt zul je moeten kiezen tussen UFS en ZFS. Zelf zou ik je build heroverwegen en voor een Brazos bordje gaan met 6x SATA/600 en PCI-express en DDR3 wat je voor 4 tientjes tot 8GB kan uitbreiden; dan heb je voor iets meer geld een build die geschikt is voor ZFS, veel meer veiligheid biedt en uitbreiding voor de toekomst. Ook zal het verbruik minder zijn dan het Atom bordje; ook al is die ook redelijk zuinig. Ook heb je dan geen bewegende onderdelen zoals een kleine CPU fan die binnen een paar maanden stuk gaat of veel lawaai gaat geven.

Zie o.a. deze build:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 104,-	€ 104,-
6	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,70	€ 352,20
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 44,45	€ 44,45
Bekijk collectie Importeer producten		Totaal	€ 500,65

Met slechts 2 Samsung F4EG kun je ook PicoPSU overwegen voor een extra zuinig systeem en 100% passief gekoeld.

[iMars]

Verwijderd schreef op zondag 17 juli 2011 @ 22:59:
Mja soms is het verstandiger om je budget ietsje op te rekken. Mijn ervaring is dat je nooit genoeg storage kunt hebben, achteraf zul je zien dat je het ding misschien voor meer zaken gaat gebruiken. Voor die paar euro meer ben je ook relatief gewoon een stuk goedkoper uit (wat bij de 3TB disks, nog een stap verder, niet zo is).

Dit is een quote for truth! Ik ben in de afgelopen half jaar van router-project beland in een nas-project. Wilde 'el cheapo' een Via C3 mobotje om een wat geavanceerder router te maken voor thuis met 1 of 2 externe schijven en ben nu beland bij een eigen mini-nas en zit al te kijken of ik niet beter een andere behuizing had kunnen nemen voor de mogelijkheid om te groeien naar 8+ disks. Ook zit ik nu te kijken of mijn max 4GB misschien niet te beperkt is

[CurlyMo]

Verwijderd schreef op maandag 18 juli 2011 @ 00:41:
Als je FreeNAS neemt zul je moeten kiezen tussen UFS en ZFS. Zelf zou ik je build heroverwegen en voor een Brazos bordje gaan met 6x SATA/600 en PCI-express en DDR3 wat je voor 4 tientjes tot 8GB kan uitbreiden; dan heb je voor iets meer geld een build die geschikt is voor ZFS, veel meer veiligheid biedt en uitbreiding voor de toekomst. Ook zal het verbruik minder zijn dan het Atom bordje; ook al is die ook redelijk zuinig. Ook heb je dan geen bewegende onderdelen zoals een kleine CPU fan die binnen een paar maanden stuk gaat of veel lawaai gaat geven.

Zie o.a. deze build:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 104,-	€ 104,-
6	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,70	€ 352,20
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 44,45	€ 44,45
Bekijk collectie Importeer producten		Totaal	€ 500,65

Met slechts 2 Samsung F4EG kun je ook PicoPSU overwegen voor een extra zuinig systeem en 100% passief gekoeld.

Ik zou dan toch eerder de Asus P8H67-I overwegen icm een G620(T). Ook 6xSATA maar dan wel gelijk een volwaardige CPU. Niet allemaal SATA/300 maar dat heb je met normale HDD niet nodig. Op dit moment draai ik zelf 3x F4EG (en een laptop hdd als boot) op een PicoPSU 90W, werkt prima. 6x F4EG gaat hij ook zeker trekken.

Edit:

Het hele goedje draait Idle op 38W.

[ Voor 0% gewijzigd door CurlyMo op 18-07-2011 09:21 . Reden: Idle verbruik toegevoegd ]

[DJ-Visto]

Iemand hier een idee of je je chunk size van je mdadm nog kan transformeren? Elke modernere hardware raidcontroller kan het..

En nog wat tuning opties?

[HarmoniousVibe]

Sinds MDADM v3 wel ja.

[onox]

iMars schreef op zondag 17 juli 2011 @ 01:29:
[...]

De supermicro lijkt erg op mijn boardje:
http://www.supermicro.nl/...OM/ICH9/X7SPA-HF-D525.cfm

Maar het zou ook de X7SPA HF met een D510 kunnen zijn
http://www.supermicro.nl/...H9/X7SPA.cfm?typ=H&IPMI=Y

Waar heb jij je Supermicro bordje gehaald? Ik ben namelijk geïnteresseerd in de X9SCV-Q omdat die 2x Intel netwerkpoorten en 6x SATA heeft en ik er 8 GiB in kan proppen voor ZFS

[Sleepie]

DJ-Visto schreef op maandag 18 juli 2011 @ 10:57:
En nog wat tuning opties?

Zie een stukje terug in dit topic.

[Wirehead]

DJ-Visto schreef op maandag 18 juli 2011 @ 10:57:
Iemand hier een idee of je je chunk size van je mdadm nog kan transformeren? Elke modernere hardware raidcontroller kan het..

En nog wat tuning opties?

Indien je RAID5 of 6 draait kan je uit de voeten met de reply van Sleepie voor een quick-fix; bij RAID10 moet je aan de slag

[iMars]

onox schreef op maandag 18 juli 2011 @ 13:09:
[...]


Waar heb jij je Supermicro bordje gehaald? Ik ben namelijk geïnteresseerd in de X9SCV-Q omdat die 2x Intel netwerkpoorten en 6x SATA heeft en ik er 8 GiB in kan proppen voor ZFS

Bij Azerty.nl, maar misschien dat je het ook bij http://www.ahead-it.eu/nl/home kan bestellen?

Op ahead heb ik de volgende link: https://www.ahead-it.eu/n...rd---intel/MBD-X9SCV-Q-O/

[ Voor 10% gewijzigd door iMars op 18-07-2011 14:02 ]

[Jormungandr]

Deze nacht mijn array laten initialiseren:

3x Samsung 204UI's in Raid 5 op Arch linux

code:

[wouter@DKNAS2 ~]$ sudo dd if=/dev/zero of=/media/data/test.bin bs=1M count=16000
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 96.7089 s, 173 MB/s
[wouter@DKNAS2 ~]$ sudo dd if=/media/data/test.bin  of=/dev/null bs=1M count=16000
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 134.691 s, 125 MB/s

[Wirehead]

Jormungandr schreef op maandag 18 juli 2011 @ 18:36:
Deze nacht mijn array laten initialiseren:

3x Samsung 204UI's in Raid 5 op Arch linux

code:

[wouter@DKNAS2 ~]$ sudo dd if=/dev/zero of=/media/data/test.bin bs=1M count=16000
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 96.7089 s, 173 MB/s
[wouter@DKNAS2 ~]$ sudo dd if=/media/data/test.bin  of=/dev/null bs=1M count=16000
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 134.691 s, 125 MB/s

Lijkt me eerder aan de trage kant? read is trager dan write?

[TrailBlazer]

ik ben echt helemaal kwijt welke harde schijven nu het minste problemen geven op het moment. Samsung lijkt veel problemen te hebben. Mijn doel is gewoon software raid met mdadm onder linux.

[Wirehead]

TrailBlazer schreef op maandag 18 juli 2011 @ 21:23:
ik ben echt helemaal kwijt welke harde schijven nu het minste problemen geven op het moment. Samsung lijkt veel problemen te hebben. Mijn doel is gewoon software raid met mdadm onder linux.

Geen problemen hier met WD in RAID10; wel hun wdidle3 tool draaien met als argument "/S300". Dat is het enige.

[iMars]

TrailBlazer schreef op maandag 18 juli 2011 @ 21:23:
ik ben echt helemaal kwijt welke harde schijven nu het minste problemen geven op het moment. Samsung lijkt veel problemen te hebben. Mijn doel is gewoon software raid met mdadm onder linux.

Ik heb anders geen problemen hoor...

[HarmoniousVibe]

iMars schreef op maandag 18 juli 2011 @ 21:46:
[...]

Ik heb anders geen problemen hoor...

Laat dit topic alsjeblieft niet verzanden in "ik heb veel/weinig/geen problemen met merk x/y/z"..

Een steekproef met een n van 1 is vrij waardeloos.

[ Voor 9% gewijzigd door HarmoniousVibe op 18-07-2011 23:07 ]

[Jormungandr]

Laat ons zeggen dat quasi alle consumentenschijven intussen een goede levensduur hebben als we het even over kwaliteit enz gaan hebben.
Qua RAID capabiliteiten is het een beetje merk 1 vs merk B. Ze hebben allemaal wel hun voor en nadelen.

OT:
Wirehead, ik heb er niet echt een zicht op of dat nu snel of traag is voor die setup. Ik haal alleszins vlot 80+ MB/s over Samba naar Win7 op zowel R als WR. Das al een heel pak beter dan de 35 a 40 van mijn Synology.

[parcifal]

Jormungandr schreef op maandag 18 juli 2011 @ 23:50:
Laat ons zeggen dat quasi alle consumentenschijven intussen een goede levensduur hebben als we het even over kwaliteit enz gaan hebben.
Qua RAID capabiliteiten is het een beetje merk 1 vs merk B. Ze hebben allemaal wel hun voor en nadelen.

OT:
Wirehead, ik heb er niet echt een zicht op of dat nu snel of traag is voor die setup. Ik haal alleszins vlot 80+ MB/s over Samba naar Win7 op zowel R als WR. Das al een heel pak beter dan de 35 a 40 van mijn Synology.

yup t valt erg moeilijk te zeggen wat nu t beste is , maar meer kijken naar t doel waarvoor.
Voor raid zijn er speciale uitvoeringen bv de WD RE`s maar van de zotte welke prijzen ze daar voor tellen bjina t 3 dubbelle van normale schijven en terwijl t mischien dezelfde schijven zijn maar dan andere firmware ...(?)
niet echt aantrekkelijk voor ons hobbyistenom daar een kast mee te vullen oef

[bloody]

Ik heb mijn eerste DIY nas samengesteld, en wil graag jullie mening.

Doel: een stille nas met 4 TB schijven die in raid 5 of raidz draaien op freenas. Moet uitbreidbaar zijn naar 6 schijven ivm verwachtte groei.

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 104,-	€ 104,-
4	Western Digital Caviar Green WD20EARX, 2TB SATA-600, 64MB, 5400rpm	€ 64,-	€ 256,-
1	Western Digital Caviar Green WD5000AADS, 500GB	€ 31,-	€ 31,-
1	Lian Li PC-Q08B	€ 88,23	€ 88,23
1	Nexus RX-5300	€ 69,95	€ 69,95
1	Kingston ValueRAM KVR1333D3N9/4G	€ 21,99	€ 21,99
Bekijk collectie Importeer producten		Totaal	€ 571,17

moederbord: dit is het enige moederbord wat ik kon vinden wat 6 sata poorten heeft. Het is een fanless mobo wat ook nog eens lekker stil is. Het moederbord heeft een geintegreerde AMD Fusion E-350 CPU.
Vraag: trekt deze CPU mijn opstelling wel? Wat zou beter zijn, raid 5 of raidz?

harddisks: ik wil de genoemde 4 HDD's al raiddisks hebben en de kleine HDD als bootdisk.
Vraag: zien jullie problemen met genoemde merk en type? Ik kon iig niets raars vinden

behuizing: ik heb gekozen voor de Lian Li kast. Lekker compact en toch 6 HDD cages. Lijkt me een populaire kast, dus daar kan ik me hopelijk geen buil aan vallen.

vopeding: lastig... ik wil dus een exemplaar met 6 sata aansluitingen en het liefst modulair omdat de Lian Li kast niet al té ruim is. Bovendien schijnt deze voeding volgens de reviews ook zuinig en stil te zijn.

Ik hoop dat jullie wat commentaar op mijn setup willen geven Alle kritiek is welkom

[Verwijderd]

4 hardeschijven in RAID-Z met 4K sectors is geen optimale configuratie; overweeg 5 disks in RAID-Z of de beste config 6 schijven in RAID-Z2. Voor normaal RAID5 geldt deze beperking niet; maar als je FreeNAS gaat draaien is het erg zonde om geen gebruik van ZFS te maken. Normaal RAID5 is stukken minder betrouwbaar dan ZFS en RAID-Z(2).

De 500GB schijf alleen voor FreeNAS is onzin; koop een 2GB USB stick voor 3 euro. Zelf zou ik voor 6x Samsung F4EG in RAID-Z2 gaan dat is de meest optimale configuratie.

Als je voor ZFS gaat, doe je er goed aan om twee reepjes van 4GiB te nemen, samen 8GiB. Dat is wat ZFS wilt: veel geheugen. Je CPU is snel genoeg. Als je zuinig geheugen wilt kun je dit 1.25v geheugen overwegen:
pricewatch: G.Skill F3-12800CL9D-8GBSR2

[Gkomega]

Ik wil zelf een NAS/HTPC bouwen. Maar ik zit nog steeds te twijfelen over de CPU/moederbord combo. Het systeem moet enigszins zuinig zijn. Hij moet redelijk kunnen parren en streamen van DVD9 bestanden zonder haperingen.

Ik heb nog een Areca 1222 en 4x Hitachi 1 TB. Weet nog niet helemaal welk OS ik erop wil draaien. Win 2k8 R2 of Windows 7 (aangezien het ook HTPC moet zijn). Het moederbord heeft een HDMI poort waarop ik de pc op me TV wil aansluiten. (Geen Ethernet poort aanwezig op de TV)

#	Product	Prijs	Subtotaal
1	Sharkoon Rebel12 Economy (Zwart)	€ 66,55	€ 66,55
1	Intel Core i3 540	€ 84,49	€ 84,49
1	Seasonic M12II 520W	€ 75,-	€ 75,-
1	Kingston ValueRAM KVR1066D3N7/4G	€ 21,99	€ 21,99
1	Asus P7H55-M/USB3	€ 77,70	€ 77,70
Bekijk collectie Importeer producten		Totaal	€ 325,73

Graag hoor ik suggesties om het stroomverbruik te verlagen of betere combinatie van hardware.

[Verwijderd]

Als je zuinig wilt is een 1155 platform denk ik een betere keus; al weet ik niet pecies hoeveel het zal schelen.

MSI moederborden zijn over het algemeen een stuk zuiniger dan Asus of Gigabyte:
pricewatch: MSI H67MA-ED55

Met als CPU:
pricewatch: Intel Core i3 2100

En voor RAM zie hierboven (1.25v DDR3):
pricewatch: G.Skill F3-12800CL9D-8GBSR2

Zo'n systeem zou aardig wat zuiniger moeten zijn. Over performance van parren heb ik geen ervaring; maar een moderne Intel CPU is vrij snel naar mijn idee. Voor de zuinigheid maakt een 2500k niets uit; idle zijn die extreem zuinig. Het punt is vooral de rest op moederbord en de HDDs + controller die samen misschien wel meer slurpen dan moederbord+cpu+ram in idle.

[Gkomega]

Wil een aparte download schijf hebben die eigenlijk als boot/download schijf fungeert. Zodoende zijn mijn controller + hdd's het grootste deel van de tijd non actief. Zit te denken aan een laptop schijfje van 500+ GB.

En is de Core i3 2100T geen betere kandidaat om nog wat extra stroom te besparen?

[ Voor 16% gewijzigd door Gkomega op 19-07-2011 10:59 ]

[FireDrunk]

Die T versie is alleen nuttig als je wil afdwingen dat je onder een bepaalde belasting wil blijven (voor bijvoorbeeld een PicoPSU) maar verder is het in het kader van verbruik niet beter om dat de CPU ook langzamer is.

Waarom een Asus bord? Ik zou liever zoals CiPHER al zegt voor een MSI gaan.

[NTB_Appie]

NTB_Appie schreef op vrijdag 15 juli 2011 @ 20:40:
[...]


Bedankt, zodra ik weer thuis ben zal ik de tool downloaden en draaien.
resultaat zal ik dan hier posten

Bedankt voor de moeite en een fijne avond!

Mijn pc is eindelijk klaar met rebuilden :-)
Dit is een vervolg op mijn probleem zie pagina 287

Hieronder een paar printscreens:

Intel Rapid Store Technologie


Broncontrole


Kopieeren in windows



Full surface scan nog niet uitgevoerd omdat ik die optie niet kan vinden in seatools
Of moet ik eerst RAID 5 verwijderen en dan voor elke schijf een losse scan uitvoeren?

[Abductee]

Ik heb gisterenavond mijn systeem ook eindelijk kunnen afwerken. Het betreft het volgende:

#	Product	Prijs	Subtotaal
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,70	€ 234,80
1	Samsung Spinpoint F3 HD502HJ, 500GB	€ 33,-	€ 33,-
1	Asus P5K-E/WiFi-AP	€ 0,-	€ 0,-
1	OCZ Reaper HPC DDR2 PC2-6400 4GB Edition	€ 123,90	€ 123,90
1	Intel Core 2 Quad Q6600	€ 0,-	€ 0,-
1	Asus EN210 SILENT/DI/512MD2(LP)	€ 26,75	€ 26,75
Bekijk collectie Importeer producten		Totaal	€ 418,45

Hierop draait Ubuntu server met volgende mdadm config:

code:

> mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Mon Jul 18 20:08:15 2011
     Raid Level : raid5
     Array Size : 5860538880 (5589.05 GiB 6001.19 GB)
  Used Dev Size : 1953512960 (1863.02 GiB 2000.40 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Tue Jul 19 13:04:45 2011
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : Gandalf:0  (local to host Gandalf)
           UUID : 14705eac:e78c1faf:68d91970:f54d7a01
         Events : 18

    Number   Major   Minor   RaidDevice State
       0       8       16        0      active sync   /dev/sdb
       1       8       32        1      active sync   /dev/sdc
       2       8       48        2      active sync   /dev/sdd
       4       8       64        3      active sync   /dev/sde

en de testresultaten hiervan zijn:

code:

> dd if=/dev/zero of=/media/storage/testfile bs=1M count=16000
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 137,443 s, 122 MB/s
> dd if=/media/storage/testfile of=/dev/null bs=1M
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 65,7897 s, 255 MB/s

Lijkt mij best wel ok te zijn... Lijkt mij dat dit wel beter kan... Misschien eens een paar kleinere chunk size proberen.
Als iemand anders hier nog input over wilt geven: graag!

Als jullie meer testresultaten willen zien, laat maar weten wat ik juist moet testen, en dan bekijk ik het even als ik tijd heb.

[Staatslot]

Bij mij lijkt het ondertussen wel een nachtmerrie..
4 samsung disks met vreemde kuren, nu 4 nieuwe western digitals terug waarvan er zojuist 1 uitklapt...
Sommige mensen hebben pech..... Kijken of azerty nu weer zo flexibel is...

[FireDrunk]

Misschien ligt het ergens anders aan? Kabels? Voeding? Statisch inbouwen? Aarde?

[Staatslot]

Zou je haast gaan denken nu he?
Maar het vreemde is dat bij de samsung disks er echt fouten werden getoond, deze disk klapt er gewoon uit en wordt ook niet meer lekker herkend door het os..

[FireDrunk]

Ik heb nog nooit in mijn leven zoveel kapotte disken uberhaupt gezien, dus ik verwacht dat het een externe factor is

[Verwijderd]

Zomaar een idee: vervang je voeding eens. Een voeding die niet helemaal lekker werkt wil ook wel een diskjes meesleuren.

[Verwijderd]

NTB_Appie schreef op dinsdag 19 juli 2011 @ 13:16:
[...]


Mijn pc is eindelijk klaar met rebuilden :-)
Dit is een vervolg op mijn probleem zie pagina 287

Het staat niet in je post, maar als je de lage schrijfperformance een probleem vindt, kun je die verhelpen door Volume Write-back in te schakelen in de RST configuratiepanel. Dan zul je veel hogere schrijfsnelheden behalen. Dit gaat echter wel ten koste van de veiligheid; bij een blauw scherm of stroomstoring kun je ernstige corruptie krijgen wat voor (gedeeltelijk) dataverlies kan zorgen. Doe dit dus alleen als je een backup hebt. Je kunt het wel even inschakelen om te kijken hoeveel het scheelt; meestal zeker een factor 10 of hoger.

Abductee schreef op dinsdag 19 juli 2011 @ 13:29:
Ik heb gisterenavond mijn systeem ook eindelijk kunnen afwerken. Het betreft het volgende:
(..)
en de testresultaten hiervan zijn:

code:

> dd if=/dev/zero of=/media/storage/testfile bs=1G count=1
1+0 records in
1+0 records out
1073741824 bytes (1,1 GB) copied, 5,68635 s, 189 MB/s
> dd if=/media/storage/testfile of=/dev/null bs=1G count=1
1+0 records in
1+0 records out
1073741824 bytes (1,1 GB) copied, 1,06839 s, 1,0 GB/s

Lijkt mij best wel ok te zijn... Als iemand anders hier nog input over wilt geven: graag!

Deze resultaten zijn gecached; je moet met minimaal 8 keer je RAM testen, dus iets als:

# schrijven (16GB)
dd if=/dev/zero of=/media/storage/testfile bs=1M count=16000
# lezen
dd if=/media/storage/testfile of=/dev/null bs=1M

[Weiman]

Verwijderd schreef op dinsdag 19 juli 2011 @ 14:22:
Zomaar een idee: vervang je voeding eens. Een voeding die niet helemaal lekker werkt wil ook wel een diskjes meesleuren.

Goeie suggestie, maar de kans is ook heel aanwezig dat het om een slechte batch schijven gaat. Dan is het nog steeds ontzettende pech.
Voor datzelfde geldt dat schijven uit dezelfde batch, in mijn ervaring, vaak een erg gelijklopende levensduur hebben. Dan heb je een RAID5, overlijdt er 1, rebuild je de array, nog een schijf dood Dan snap je wel hoe belangrijk backups zijn.

[iMars]

Staatslot schreef op dinsdag 19 juli 2011 @ 13:35:
Bij mij lijkt het ondertussen wel een nachtmerrie..
4 samsung disks met vreemde kuren, nu 4 nieuwe western digitals terug waarvan er zojuist 1 uitklapt...
Sommige mensen hebben pech..... Kijken of azerty nu weer zo flexibel is...

Ik zou maar geen staatslot kopen als ik jou was met zoveel pech

[Abductee]

Verwijderd schreef op dinsdag 19 juli 2011 @ 14:28:

Deze resultaten zijn gecached; je moet met minimaal 8 keer je RAM testen, dus iets als:

# schrijven (16GB)
dd if=/dev/zero of=/media/storage/testfile bs=1M count=16000
# lezen
dd if=/media/storage/testfile of=/dev/null bs=1M

Effe opnieuw uitgevoerd, en resultaten aangepast.

[Verwijderd]

Verwijderd schreef op dinsdag 19 juli 2011 @ 14:22:
Zomaar een idee: vervang je voeding eens. Een voeding die niet helemaal lekker werkt wil ook wel een diskjes meesleuren.

of een te lichte voeding ( hoeveel A is werkelijk beschikbaar .. disks zitten meestal op 1 rails)

[OMX2000]

Mijn systeem :

#	Product	Prijs	Subtotaal
1	ICIDU Mini Drive 4GB	€ 9,99	€ 9,99
1	Intel Gigabit CT Desktop Adapter	€ 23,15	€ 23,15
1	TP-Link TL-SG1005D	€ 16,-	€ 16,-
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,70	€ 234,80
1	Sharkoon Rebel9 Aluminium	€ 47,70	€ 47,70
1	Fractal Design Silent Series , 120mm	€ 8,-	€ 8,-
1	Intel Core i3 540	€ 83,60	€ 83,60
1	Cooler Master 4-in-3 Device Module	€ 14,70	€ 14,70
1	Kingston SSDNow V+100 SVP100S2/96G (stand-alone drive) 96GB	€ 115,50	€ 115,50
4	Kingston ValueRAM KVR1333D3N9K2/4G	€ 23,04	€ 92,16
1	MSI H55M-ED55	€ 71,90	€ 71,90
Bekijk collectie Importeer producten		Totaal	€ 717,50

Ik draai ESXi 4.1 met daarin Ubuntu 11.04 als OS voor mijn NAS. De VM draai ik vanaf de SSD.

De Samsungs draai ik in een mdadm RAID 5 set, geformatteerd met XFS.

>mdadm --detail /dev/md0

/dev/md0:
Version : 1.2
Creation Time : Fri Jul 15 01:39:44 2011
Raid Level : raid5
Array Size : 5860532352 (5589.04 GiB 6001.19 GB)
Used Dev Size : 1953510784 (1863.01 GiB 2000.40 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent

Update Time : Tue Jul 19 15:17:27 2011
State : clean
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

Name : deathstar:0 (local to host deathstar)
UUID : 6977d11a:6d99c0a8:eb0464b4:31861a28
Events : 20

Number Major Minor RaidDevice State
0 8 1 0 active sync /dev/sda1
1 8 17 1 active sync /dev/sdb1
2 8 33 2 active sync /dev/sdc1
4 8 65 3 active sync /dev/sde1


dd if=/dev/zero of=/mnt/volA/general/testfile bs=1M count=128000

128000+0 records in
128000+0 records out
134217728000 bytes (134 GB) copied, 564.151 s, 238 MB/s

dd if=/mnt/volA/general/testfile of=/dev/null bs=1M

128000+0 records in
128000+0 records out
134217728000 bytes (134 GB) copied, 778.8 s, 172 MB/s


Write speed vind ik goed. Maar ik vind de read speed tegenvallen. Ik las ergens wat over een readahead instelling, iemand tips daarover. Verder heb ik niks gedaan met hdparm. Schijnbaar negeert Ubuntu 11.04 de /etc/hdparm.conf instellingen.

[parcifal]

Verwijderd schreef op dinsdag 19 juli 2011 @ 15:04:
[...]


of een te lichte voeding ( hoeveel A is werkelijk beschikbaar .. disks zitten meestal op 1 rails)

idd lijkt me ook belangrijk om dat in de gaten te houden hoe de rails zijn verdeelt,
ik kwam namelijk tot conclusie dat al mijn sata en molex kabels op 1 rail zaten en pci-e op de rest
aangezien ik totaal geen pci-e gebruik heb ik me voeding drastisch gewijzigd door een soldeerklus en daarbij ook een flinke bos kabel gekapt die niet weg te werken is en toch niet gebruik -)
al met al sucsesvol en heb nu molexen verdeelt over 3 rails van 22 A ieder , dat is nu veel gunstiger voor de voeding en minder scheef belast.

[NTB_Appie]

Verwijderd schreef op dinsdag 19 juli 2011 @ 14:28:
[...]

Het staat niet in je post, maar als je de lage schrijfperformance een probleem vindt, kun je die verhelpen door Volume Write-back in te schakelen in de RST configuratiepanel. Dan zul je veel hogere schrijfsnelheden behalen. Dit gaat echter wel ten koste van de veiligheid; bij een blauw scherm of stroomstoring kun je ernstige corruptie krijgen wat voor (gedeeltelijk) dataverlies kan zorgen. Doe dit dus alleen als je een backup hebt. Je kunt het wel even inschakelen om te kijken hoeveel het scheelt; meestal zeker een factor 10 of hoger.

Dit loopt een stuk sneller maar haal niet de resultaat die ik had verwacht. Seq leessnelheid ligt gemiddeld op 575 MB volgens Crystal Disk Mark en Seq schrijf ligt op 37 MB hiervoor heb ik de groote op 4000MB gezet. processor blijft op 0% heel soms effe op 1%. Kan het zijn dat ik wat verkeerd heb staan in de bios? Of is dit het maximale wat mijn bordje kan halen? (ASUS Rampage iii Extreme)

[Verwijderd]

Ik wijs je toch op de optie van Volume write-back in de Intel RST panel? Daarmee kun je je write snelheid significant verbeteren. Lees anders mijn reactie nog eens?

Of bedoel je dat je nu met Volume Write-back maar 37MB/s write haalt? Zijn je partities aligned volgens AS SSD?

[ Voor 26% gewijzigd door Verwijderd op 19-07-2011 20:06 ]

[bloody]

Verwijderd schreef op dinsdag 19 juli 2011 @ 07:30:
4 hardeschijven in RAID-Z met 4K sectors is geen optimale configuratie; overweeg 5 disks in RAID-Z of de beste config 6 schijven in RAID-Z2. Voor normaal RAID5 geldt deze beperking niet; maar als je FreeNAS gaat draaien is het erg zonde om geen gebruik van ZFS te maken. Normaal RAID5 is stukken minder betrouwbaar dan ZFS en RAID-Z(2).

De 500GB schijf alleen voor FreeNAS is onzin; koop een 2GB USB stick voor 3 euro. Zelf zou ik voor 6x Samsung F4EG in RAID-Z2 gaan dat is de meest optimale configuratie.

Als je voor ZFS gaat, doe je er goed aan om twee reepjes van 4GiB te nemen, samen 8GiB. Dat is wat ZFS wilt: veel geheugen. Je CPU is snel genoeg. Als je zuinig geheugen wilt kun je dit 1.25v geheugen overwegen:
pricewatch: G.Skill F3-12800CL9D-8GBSR2

Ok, als ik je goed begrijp is 4 HDD's met 4K sectors niet zo handig qua performance, maar vanaf 5 disks loopt dat wel weer los?
Zou ik dan niet wellicht beter de Hitachi Deskstar 5K3000 kunnen nemen met 512b sectors?

Helaas staat het geheugen wat je aanraadt niet in de QVL voor dat asus moederbord.
De enige met 8GB die ook in de QVL staat, is deze: pricewatch: G.Skill Ripjaws F3-10666CL7D-8GBRH
Dit is toch ook prima?

Goede suggestie van de usb stick... kijken of ik die ergens in de kast zelf kwijt kan

[Staatslot]

Verwijderd schreef op dinsdag 19 juli 2011 @ 15:04:
[...]


of een te lichte voeding ( hoeveel A is werkelijk beschikbaar .. disks zitten meestal op 1 rails)

Ik heb in mijn huis (ouder huis) nergens aarde, dus dat zou er heel misschien iets mee te maken kunnen hebben? Al heb ik nog 7 pc's in huis zonder één probleem op hardwaregebied in 2,5 jaar... De schijf begint ook te tikken nu, hij kan gewoon niet op-spinnen zo klinkt het. Dat kan toch haast niet door een voeding of aarde komen? Het is trouwens een be quiet 350W voeding, toch geen slecht merk?

[Megalith]

Volgens mij bedoelde hij het aantal ampere wat je voeding kan leveren. Lijkt me niet de aarde de oorzaak van je probleem is. Moet gewoon zonder kunnen.

[Staatslot]

Is er een goeie manier om je voeding dan eventueel door te meten op problemen?

[FireDrunk]

Elke kast is anders, elk huis is anders, en elke wijk is anders als het gaat om statische elektriciteit.
"In het verleden behaalde resultaten bieden geen garantie voor de toekomst..."

Mijn schoonvader is TV Reparateur geweest, en die heeft kapotte TV's gehad omdat de stoppen in de kast niet goed aangedraaid waren, terwijl het _hele_ huis verder werkte...

Ik zou altijd randaarde gebruiken, net als je levensverzekering hoop je hem nooit nodig te hebben, maar wat ben je blij als blijkt dat hij gewerkt heeft

[Megalith]

Ik zou eerst gewoon maar even je model psu opzoeken op de site van bequiet. Daar staat wel een tabel met het aantal 12v rails dat je psu heeft en hoeveel ampere hij per rail kan leveren.

[Staatslot]

fcg123 schreef op dinsdag 19 juli 2011 @ 22:40:
Ik zou eerst gewoon maar even je model psu opzoeken op de site van bequiet. Daar staat wel een tabel met het aantal 12v rails dat je psu heeft en hoeveel ampere hij per rail kan leveren.

Ik begeef me nu op voor mij onbekend terrein, maar volgens de site heeft de voeding 2 12V rails en 18A per rail als ik het goed begrijp? http://www.be-quiet.net/b...?StoryID=17&ProductID=46#

De falende disk in een andere pc gehangen, geen getik.. Wat vluchtige scans: geen problemen..
Schijf terug in storage bak, ook geen getik meer..

[ Voor 13% gewijzigd door Staatslot op 19-07-2011 22:51 ]

[Verwijderd]

bloody schreef op dinsdag 19 juli 2011 @ 21:42:
Ok, als ik je goed begrijp is 4 HDD's met 4K sectors niet zo handig qua performance, maar vanaf 5 disks loopt dat wel weer los?
Zou ik dan niet wellicht beter de Hitachi Deskstar 5K3000 kunnen nemen met 512b sectors?

4K sectors werkt prima, maar dan moet je wel de juiste hoeveelheid disks en de juiste config draaien. Optimale configuratie zijn:
RAID-Z: 3 disks, 5 disks of 9 disks
RAID-Z2: 6 disks of 10 disks

Dus een 5 disk RAID-Z of 6 disk RAID-Z2 is optimaal voor schijven als Samsung F4EG. Zelf zou ik voor Samsung kiezen ipv Hitachi vanwege de performance; Samsung heeft erg leuke schijfjes voor een zachte prijs en ze slurpen erg weinig stroom met name voor spinup current.

Helaas staat het geheugen wat je aanraadt niet in de QVL voor dat asus moederbord.
De enige met 8GB die ook in de QVL staat, is deze: pricewatch: G.Skill Ripjaws F3-10666CL7D-8GBRH

Mja ik werk nooit met QVL; daar staan maar een paar repen geheugen in die toevallig getest zijn. Ander geheugen werkt 90% van de tijd prima; mits de SPD in de geheugenstick maar juist is geprogrammeerd. Daarin staan op welke frequency, voltages en latencies de reep gegarandeerd werkt en dat houdt zich aan de JEDEC-standaarden.

1.5v geheugen kan ook; maar 1.25v is natuurlijk iets zuiniger. Ik zou het erg vreemd vinden als die niet zouden werken; maar als je 100% zekerheid wilt moet je je inderdaad aan de QVL houden. Dan koop je wel in feite ietwat verouderd geheugen. Maar het zal geen 10W schelen ofzo, het ligt er maar aan hoe belangrijk zuinigheid voor je is. Zelf lijkt me 1.25v geheugen nu wel top dan krijg je het nieuwste geheugen met de nieuwste procédé's ipv ouder geheugen wat 1.5v nodig heeft om de frequencies en latencies te halen.

Goede suggestie van de usb stick... kijken of ik die ergens in de kast zelf kwijt kan

Je kunt zo'n interne USB header kopen; ik heb er ook een. Gewoon een plug die op je interne USB headers gaat op je moederbord en dan twee USB poorten intern geeft. Dan kun je er een USB stick in doen en die voor FreeNAS gebruiken. FreeNAS is daar specifiek voor bedoeld.

[Megalith]

Klopt, je voeding kan maximaal 252 Watt leveren gecombineerd over twee rails. 18A x 12V = 216 Watt op één rail. Heb je verder geen grafische kaart in die machine zitten? 216 Watt is dik voldoende om je hdd's te voeden, ook bij de spinup.

[Staatslot]

Nee ik gebruik gewoon de onboard kaart.
Ik heb wel de voeding moeten verlengen met zo'n verbubbelaar zegmaar, omdat er niet genoeg sata stekkertjes aanzaten, maar dat zie ik hier wel meer mensen doen toch?

Ik begin toch te geloven dat de voeding niet helemaal tof is, ik hoor nu opeens een andere disk dezelfde tikkende geluiden maken alsof hij niet opspint..

[ Voor 27% gewijzigd door Staatslot op 19-07-2011 23:02 ]

[Megalith]

Ik gebruik die verlengstukjes zelf ook, met 8 hdd's en dat werkt vlekkeloos icm een Be Quiet 430 Watt voeding. Heb je ook de mogelijkheid om al die disks eens aan een andere pc te hangen en daar de array op proberen te maken?
Gebruik je de onboard controller of een Highpoint oid? Anders helpt misschien een bios flash?

[Staatslot]

ik gebruik de onboard sata aansluitingen en heb eerlijk gezegd geen andere pc met vier vrije sata aansluitingen beschikbaar...helaas. maar gezien het feit dat de schijf toch niet echt stuk lijkt te zijn en er nu "random" vreemde geluiden uit een schijf komen na het opnieuw opstarten, vermoed ik toch een kniftige voeding. Is er een manier om als leek de voeding door te meten of is het verstandiger het niet te gokken en een nieuwe voeding aan te schaffen?

[Megalith]

Dan zou ik proberen om de voeding uit een andere pc eens aan te sluiten op deze bak. Mocht hij dan die problemen niet meer geven, en dat zie je snel genoeg, dan kun je er van uit gaan dat je huidige voeding kaduuk is.

[Verwijderd]

Okay, daar gingen disk 2 en 3 ook. Redcoon maar gemailed dat maandag alle disks terug gaan komen. Ben nu bezig om de disks te wipen voordat ze verzonden worden. Voordeel is dat ze met disk i/o niet meer ratelen en het nu dus eindelijk stil is

Nu moet ik alleen na gaan denken of ik de Samsungs of de WD's ga nemen... Ik neig naar de WD's, maar dat is op basis van de 1.5TB's die ik hier heb liggen: de WD is stiller dan de Samsung.

[ Voor 29% gewijzigd door Verwijderd op 19-07-2011 23:26 ]

[Verwijderd]

Met welke Samsungs vergelijk je dan? Want de Samsung F4EG is een erg stille drive. En met zoveel schijven die het loodje leggen is een gedeelde factor zoals voeding zeker een 'prime suspect' wat mij betreft.

[Verwijderd]

Het lijkt eerder op een bug in de Hitachi's: ik ben op internet al een paar berichten tegengekomen van mensen die exact hetzelfde probleem hadden. De Picopsu die ik gebruik doet al 2 jaar prima dienst en ik heb geen indicatie dat deze de boel zou slopen. De drives werken verder ook gewoon, zolang je er load tegenaan gooit is het geratel weg (zoals nu, ik wipe de boel, gaat prima: 0.0 geratel), behalve het geratel ook geen raar geklik of wat dan ook gehoord.

Zodra ze idle zijn begint de kop alleen gigantisch veel zoekacties uit te voeren; zelfs wanneer er geen sata-kabel is aangesloten.

Het gaat me verder tussen de WD20EARS en de HD204UI. De Samsung lijkt wat beter te presteren, maar wat ik zo lees is dat de WD weer stiller is. Hoe het met de power consumption zit heb ik nog niet weten te achterhalen.

[ Voor 35% gewijzigd door Verwijderd op 19-07-2011 23:56 ]

[iMars]

Verwijderd schreef op dinsdag 19 juli 2011 @ 23:53:
Het lijkt eerder op een bug in de Hitachi's: ik ben op internet al een paar berichten tegengekomen van mensen die exact hetzelfde probleem hadden. De Picopsu die ik gebruik doet al 2 jaar prima dienst en ik heb geen indicatie dat deze de boel zou slopen. De drives werken verder ook gewoon, zolang je er load tegenaan gooit is het geratel weg (zoals nu, ik wipe de boel, gaat prima: 0.0 geratel), behalve het geratel ook geen raar geklik of wat dan ook gehoord.

Zodra ze idle zijn begint de kop alleen gigantisch veel zoekacties uit te voeren; zelfs wanneer er geen sata-kabel is aangesloten.

Het gaat me verder tussen de WD20EARS en de HD204UI. De Samsung lijkt wat beter te presteren, maar wat ik zo lees is dat de WD weer stiller is. Hoe het met de power consumption zit heb ik nog niet weten te achterhalen.

Ik heb 4x de HD204UI en die zijn behoorlijk stil, zuinig en snel
Persoonlijk denk ik dat het aantal decibell en Watt niet heel veel zal schelen

[Abductee]

Gisterenavond heb ik mijn array opnieuw aangemaakt met een chunk size van 128kb, en daarnet heb ik de tests nog eens opnieuw uitgevoerd met volgend resultaat:

code:

> dd if=/dev/zero of=/media/storage/test.bin bs=1M count=32000
32000+0 records in
32000+0 records out
33554432000 bytes (34 GB) copied, 207,625 s, 162 MB/s
> dd if=/media/storage/test.bin of=/dev/null bs=1M
32000+0 records in
32000+0 records out
33554432000 bytes (34 GB) copied, 159,212 s, 211 MB/s

edit: na het tuneraid-script krijg ik volgende resultaten:

code:

> dd if=/dev/zero of=/media/storage/test.bin bs=1M count=32000
32000+0 records in
32000+0 records out
33554432000 bytes (34 GB) copied, 172,882 s, 194 MB/s
> dd if=/media/storage/test.bin of=/dev/null bs=1M
32000+0 records in
32000+0 records out
33554432000 bytes (34 GB) copied, 89,6942 s, 374 MB/s

[ Voor 28% gewijzigd door Abductee op 20-07-2011 11:12 ]

[mux]

Verwijderd schreef op dinsdag 19 juli 2011 @ 23:53:
Het gaat me verder tussen de WD20EARS en de HD204UI. De Samsung lijkt wat beter te presteren, maar wat ik zo lees is dat de WD weer stiller is. Hoe het met de power consumption zit heb ik nog niet weten te achterhalen.

WD20EARS is unbeatable voorlopig (tot de komst van 2-platter 2TB schijven) met 2.8W idle/4.5W seek en 2.4W een paar seconden nadat hij in idle gaat en de lees/schrijfkoppen geparkeerd worden.

[FireDrunk]

Hmm, dat is wel intteresant om te weten, ik wilde eigenlijk nog 4 x Samsung 2TB kopen, maar misschien toch maar naar EARS overstappen

[Birdie_NL]

mux schreef op woensdag 20 juli 2011 @ 10:44:
[...]


WD20EARS is unbeatable voorlopig (tot de komst van 2-platter 2TB schijven) met 2.8W idle/4.5W seek en 2.4W een paar seconden nadat hij in idle gaat en de lees/schrijfkoppen geparkeerd worden.

Sorry maar de WD20EARS heeft een variabele snelheid, vandaar het ECO gedeelte en bovenstaand verbruik.
De WD20EARS zijn echter een stuk trager als deze minimaal belast worden. Pas bij de overdracht bij grote bestanden gaat de schijf meer zijn best doen.

[Nielson]

brndst schreef op woensdag 20 juli 2011 @ 10:46:
[...]

Sorry maar de WD20EARS heeft een variabele snelheid..

Sorry maar dat is absoluut niet waar, gewoon fixed 5400rpm zoals alle GP schijven tot nu toe:

Caviar®GP
IntelliPower™ — A fine-tuned balance of spin speed, transfer rate, and caching algorithms designed to deliver both significant power savings and solid performance. For each GreenPower™ drive model, WD may use a different, invariable RPM.

[ Voor 44% gewijzigd door Nielson op 20-07-2011 11:53 ]

[DJ-Visto]

Hmm, bij mij werkt dat tune raid5 niet..

MIjn parameters:

code:

## parameters ##
MDDEV=md0               # e.g. md51 for /dev/md51
CHUNKSIZE=64            # in kb
BLOCKSIZE=512           # of file system in kb
NCQ=disable             # disable, enable. ath. else keeps current setting
NCQDEPTH=31             # 31 should work for almost anyone
FORCECHUNKSIZE=true     # force max sectors kb to chunk size > 512
DOTUNEFS=false          # run tune2fs, ONLY SET TO true IF YOU USE EXT[34]
RAIDLEVEL=raid5         # raid5, raid6

mdadm detail:

code:

/dev/md0:
        Version : 00.90
  Creation Time : Sun Jul 10 00:35:16 2011
     Raid Level : raid5
     Array Size : 1953524992 (1863.03 GiB 2000.41 GB)
  Used Dev Size : 976762496 (931.51 GiB 1000.20 GB)
   Raid Devices : 3
  Total Devices : 3
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Wed Jul 20 11:52:45 2011
          State : active
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : e8ca7701:719f90ee:9cfd4c97:e1e53fb8
         Events : 0.21

    Number   Major   Minor   RaidDevice State
       0       8        0        0      active sync   /dev/sda
       1       8       32        1      active sync   /dev/sdc
       2       8       48        2      active sync   /dev/sdd

Draai XFS. RAID5, op Debian Lenny. iemand? tis juist gedaald nu

[Abductee]

gebruik je wel de juiste parameters? Ik heb het script bij mij gerund met volgende settings:

code:

## parameters ##
MDDEV=md0               # e.g. md51 for /dev/md51
CHUNKSIZE=128           # in kb
BLOCKSIZE=4             # of file system in kb
NCQ=disable             # disable, enable. ath. else keeps current setting
NCQDEPTH=31             # 31 should work for almost anyone
FORCECHUNKSIZE=true     # force max sectors kb to chunk size > 512
DOTUNEFS=false          # run tune2fs, ONLY SET TO true IF YOU USE EXT[34]
RAIDLEVEL=raid5         # raid5, raid6

Zoals je een paar posts eerder kan zien heb ik wel best wat snelheidswinst geboekt.
Kan jij je snelheden hier ook even neerzetten?

[Verwijderd]

mux schreef op woensdag 20 juli 2011 @ 10:44:
[...]


WD20EARS is unbeatable voorlopig (tot de komst van 2-platter 2TB schijven) met 2.8W idle/4.5W seek en 2.4W een paar seconden nadat hij in idle gaat en de lees/schrijfkoppen geparkeerd worden.

StorageReview beweert wel het tegenovergestelde, de Samsungs zouden iets van een watt zuiniger zijn

[mux]

Storagereview is fout, en je moet iha nooit naar storagereview-reviews kijken

Sinds eind 2010 gebruikt WD 3 platters in hun WD20EARS en is het verbruik gedaald naar genoemde waarden. Enkel SPCR heeft dit gereviewt, maar je kunt deze waarden ook op de website van WD vinden. Samsung en andere fabrikanten hebben ondertussen nog geen zuinigere varianten uitgebracht.

[Sleepie]

DJ-Visto schreef op woensdag 20 juli 2011 @ 12:04:
Hmm, bij mij werkt dat tune raid5 niet..

Zet de blocksize eens op 4 kB en probeer het nog eens

[Verwijderd]

mux schreef op woensdag 20 juli 2011 @ 12:36:
Storagereview is fout, en je moet iha nooit naar storagereview-reviews kijken

Sinds eind 2010 gebruikt WD 3 platters in hun WD20EARS en is het verbruik gedaald naar genoemde waarden. Enkel SPCR heeft dit gereviewt, maar je kunt deze waarden ook op de website van WD vinden. Samsung en andere fabrikanten hebben ondertussen nog geen zuinigere varianten uitgebracht.

Ik heb de reviews gevonden bij SPCR, ziet er inderdaad gunstiger uit voor de WD. Okay, Redcoon maar eens contacten dat het WD's mogen worden. Bedankt voor de hulp

[NTB_Appie]

Verwijderd schreef op dinsdag 19 juli 2011 @ 20:01:
Ik wijs je toch op de optie van Volume write-back in de Intel RST panel? Daarmee kun je je write snelheid significant verbeteren. Lees anders mijn reactie nog eens?

Of bedoel je dat je nu met Volume Write-back maar 37MB/s write haalt? Zijn je partities aligned volgens AS SSD?

Bedankt voor jullie reactie's, ik haal nu schrijfsnelheden van ongeveer 200 MB\s en lees staat nu op 569 MB/s.
Wat ik gedaan heb is vanacht mijn pc uit gezet en vanochtend weer aangezet 9koude herstart en dit heeft geholpen. Gisteren had ik alleen de write-back cache ingeschakeld en de pc een herstart gegeven, blijkbaar moest de pc helemaal uit en dan opnieuw opgestart. Mijn vraag is alleen nog mocht ik toch een externe RAID-controller aanschaffen zijn de snelheden dan hoger of of hetzelfde\lager met write-back chache ingeschakeld? Momenteel is het met write-back cache ingeschakeld 575 MB\s lezen en 37 MB/s schrijven.

[DJ-Visto]

Abductee schreef op woensdag 20 juli 2011 @ 12:17:
gebruik je wel de juiste parameters? Ik heb het script bij mij gerund met volgende settings:

code:

## parameters ##
MDDEV=md0               # e.g. md51 for /dev/md51
CHUNKSIZE=128           # in kb
BLOCKSIZE=4             # of file system in kb
NCQ=disable             # disable, enable. ath. else keeps current setting
NCQDEPTH=31             # 31 should work for almost anyone
FORCECHUNKSIZE=true     # force max sectors kb to chunk size > 512
DOTUNEFS=false          # run tune2fs, ONLY SET TO true IF YOU USE EXT[34]
RAIDLEVEL=raid5         # raid5, raid6

Zoals je een paar posts eerder kan zien heb ik wel best wat snelheidswinst geboekt.
Kan jij je snelheden hier ook even neerzetten?

Eerst lag het rond de 150MB/s, nu is het dit:

code:

vincent@Shiffle:~$ sudo dd if=/dev/zero of=/opslag/raid0/test.bin bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 129.804 s, 80.8 MB/s

code:

vincent@Shiffle:~$ sudo dd if=/opslag/raid0/test.bin of=/dev/null               20480000+0 records in
20480000+0 records out
10485760000 bytes (10 GB) copied, 64.3679 s, 163 MB/s

Die is wel goed, schrijven is alleen nu helemaal verpest..

Oh, en ik heb hem nu met deze parameters gedaan, erna natuurlijk

code:

## parameters ##
MDDEV=md0               # e.g. md51 for /dev/md51
CHUNKSIZE=128           # in kb
BLOCKSIZE=4             # of file system in kb
NCQ=disable             # disable, enable. ath. else keeps current setting
NCQDEPTH=31             # 31 should work for almost anyone
FORCECHUNKSIZE=true     # force max sectors kb to chunk size > 512
DOTUNEFS=false          # run tune2fs, ONLY SET TO true IF YOU USE EXT[34]
RAIDLEVEL=raid5         # raid5, raid6

[ Voor 17% gewijzigd door DJ-Visto op 20-07-2011 12:51 ]

[Abductee]

DJ-Visto schreef op woensdag 20 juli 2011 @ 12:50:
[...]


Eerst lag het rond de 150MB/s, nu is het dit:

code:

vincent@Shiffle:~$ sudo dd if=/dev/zero of=/opslag/raid0/test.bin bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 129.804 s, 80.8 MB/s

code:

vincent@Shiffle:~$ sudo dd if=/opslag/raid0/test.bin of=/dev/null               20480000+0 records in
20480000+0 records out
10485760000 bytes (10 GB) copied, 64.3679 s, 163 MB/s

Die is wel goed, schrijven is alleen nu helemaal verpest..

Oh, en ik heb hem nu met deze parameters gedaan, erna natuurlijk

code:

## parameters ##
MDDEV=md0               # e.g. md51 for /dev/md51
CHUNKSIZE=128           # in kb
BLOCKSIZE=4             # of file system in kb
NCQ=disable             # disable, enable. ath. else keeps current setting
NCQDEPTH=31             # 31 should work for almost anyone
FORCECHUNKSIZE=true     # force max sectors kb to chunk size > 512
DOTUNEFS=false          # run tune2fs, ONLY SET TO true IF YOU USE EXT[34]
RAIDLEVEL=raid5         # raid5, raid6

Volgens je mdadm-detail gebruik je een chunk-size 64, terwijl je in de parameters 128 aangeeft? Volgens mij moet dit hetzelfde zijn...

Of probeer je je chunk size aan te passen naar 128? Want dat gaat volgens mij niet via dit script, daarvoor moet je je array opnieuw aanmaken.

[DJ-Visto]

Ik ga niet mijn array opnieuw aanmaken hoor..

code:

vincent@Shiffle:~$ sudo dd if=/dev/zero of=/opslag/raid0/test.bin bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 182.256 s, 57.5 MB/s
vincent@Shiffle:~$ sudo dd if=/opslag/raid0/test.bin of=/dev/null               20480000+0 records in
20480000+0 records out
10485760000 bytes (10 GB) copied, 86.0395 s, 122 MB/s

Met deze parameters..

code:

## parameters ##
MDDEV=md0               # e.g. md51 for /dev/md51
CHUNKSIZE=64           # in kb
BLOCKSIZE=4             # of file system in kb
NCQ=disable             # disable, enable. ath. else keeps current setting
NCQDEPTH=31             # 31 should work for almost anyone
FORCECHUNKSIZE=true     # force max sectors kb to chunk size > 512
DOTUNEFS=false          # run tune2fs, ONLY SET TO true IF YOU USE EXT[34]
RAIDLEVEL=raid5         # raid5, raid6

[PeterPan]

Versie 2.0 van de Backblaze Pod.
135TB (45x 3TB Hitachi Deskstar 5K3000) in 4U

Jammer dat ze zo weinig loslaten over de software kant en de redundantie/replicatie.

[Verwijderd]

PeterPan schreef op donderdag 21 juli 2011 @ 11:37:
Versie 2.0 van de Backblaze Pod.
135TB (45x 3TB Hitachi Deskstar 5K3000) in 4U

Jammer dat ze zo weinig loslaten over de software kant en de redundantie/replicatie.

' It takes approximately 25 days to fill a new pod with 135 terabytes of data. '

[Nielson]

PeterPan schreef op donderdag 21 juli 2011 @ 11:37:
Jammer dat ze zo weinig loslaten over de software kant en de redundantie/replicatie.

Moah, je kunt er wel wat uit halen. Debian met (software?)RAID6, LVM en EXT4. Tevens:

Our data is spread across many storage pods, so a single pod going off-line is not tragic. Thus, if there is a PSU failure, yes, we simply replace it as time permits.

Vind die s-ata controllers wel enigzins vreemd:

SiI3124 PCIe 4xSATA, met op 3 van 4 aansluitingen een
SiI3726 Port Multiplier 1-to-5 SATA

De Sil3124 is feitelijk een PCI-X chip die hier via een PCI-X <--> PCI-Express bridge aangesloten is op een PCI-e 1x aansluiting (250MB/s). Die bandbreedte moet dus gedeeld worden met 15 hdd's.