Het grote DIY RAID NAS topic deel 3

[Extera]

Niet over nagedacht, goed punt!

Ik maak er gewoon 1 array van
Dit word een backup servertje, straks (eind april) beginnen aan een ESXi build met een grotere NAS voor 24/7 use.

[Jormungandr]

code:

[root@DKNAS2 ~]# cat /proc/mdstat 
Personalities : [raid6] [raid5] [raid4] 
md0 : active raid6 sdg[5] sdf[4] sde[3] sdd[2] sdc[1] sdb[0]
      7813531648 blocks super 1.2 level 6, 512k chunk, algorithm 2 [6/6] [UUUUUU]
      [>....................]  resync =  1.8% (36327080/1953382912) finish=314.3min speed=101642K/sec
      
unused devices: <none>

not too shabby .

[Contagion]

Dat kan vast een stuk sneller .

Probeer de volgende opties eens:

code:

blockdev --setra 16384 /dev/sd?
echo 16384 > /sys/block/md0/md/stripe_cache_size

Vooral die laatste ga je enorm merken denk ik.

EDIT: de resync zal gezien het tijdstip van posten al wel klaar zijn maar desalniettemin .

[ Voor 17% gewijzigd door Contagion op 30-03-2013 21:37 ]

[Jormungandr]

Nee hij is gezakt naar ongeveer 50K. Intussen is hij net tijdens het typen uit sync gekomen . Tijd om de data terug te plaatsen dus. Straks maar eens een paar dd testjes doen.

[Contagion]

Toen ik nog RAID5 onder Linux gebruikte gaf mij het in elk geval een enorme performance boost. Zie bijv. ook grafiekjes op http://peterkieser.com/20...e_size-vs-write-transfer/

Inmiddels gebruik ik alleen nog RAID1 op een simpele server en ZFS op krachtigere (Linux) computer. Ik weet niet wat je gaat opslaan, maar het kan praktisch zijn om een bitmap aan te zetten op je array. Als om wat voor reden dan ook 1 harddisk even niet meedoet hoeft hij niet ALLES weer te resyncen (wat bij grote schijven natuurlijk uren duurt). De bitmap houdt min of meer bij wat er gewijzigd is en bij terugplaatsen van een schijf die eerder in de array zat worden alleen die blokken weer gesynct.

[ Voor 55% gewijzigd door Contagion op 31-03-2013 13:38 ]

[Loekie]

De laatste keer dat ik een array moest rebuilden lukte het niet om te growen met de bitmap optie aan, pas na rebuild kon bitmap aangezet worden, maar had dan weer negatief effect op write-snelheid.
Dit was met de versie in Ubuntu 10.04, dus het kan nu beter zijn.

Op wat voor linux draai je ZFS en hoe?

[ Voor 7% gewijzigd door Loekie op 31-03-2013 14:05 ]

[Dennisik]

Contagion schreef op zaterdag 30 maart 2013 @ 21:34:
Dat kan vast een stuk sneller .

Probeer de volgende opties eens:

code:

blockdev --setra 16384 /dev/sd?
echo 16384 > /sys/block/md0/md/stripe_cache_size

Vooral die laatste ga je enorm merken denk ik.

EDIT: de resync zal gezien het tijdstip van posten al wel klaar zijn maar desalniettemin .

Kan je dit live aanpassen op je mdadm raid 5 array?

Hij staat nu op 256 blocksize,

mmh, ik heb wat fouts gedaan.

Wou deze testen even doen:

code:

dd if=/dev/zero of=/dev/md0 bs=3145728 count=5460
 # for read
 dd if=/dev/md0 of=/dev/null bs=3145728 count=5460

Ik stopte de write test halverwege en nu is mijn raid6 data kwijt.

code:

df -h
/dev/md0                           64Z   64Z   99G 100% /raid6

code:

sudo mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Tue Jan  1 14:42:44 2013
     Raid Level : raid6
     Array Size : 230588416 (219.91 GiB 236.12 GB)
  Used Dev Size : 115294208 (109.95 GiB 118.06 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sun Mar 31 15:16:51 2013
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : server:0  (local to host server)
           UUID : 8049a01a:06977013:dfe5180c:667fade7
         Events : 28

    Number   Major   Minor   RaidDevice State
       0       8       18        0      active sync   /dev/sdb2
       1       8       34        1      active sync   /dev/sdc2
       2       8       50        2      active sync   /dev/sdd2
       3       8       66        3      active sync   /dev/sde2

Eens even kijken hoe ik dit fix.

[Loekie]

Dennisik schreef op zondag 31 maart 2013 @ 15:20:
[...]


Kan je dit live aanpassen op je mdadm raid 5 array?

Hij staat nu op 256 blocksize,

In principe wel.

mmh, ik heb wat fouts gedaan.

Wou deze testen even doen:

code:

dd if=/dev/zero of=/dev/md0 bs=3145728 count=5460
 # for read
 dd if=/dev/md0 of=/dev/null bs=3145728 count=5460

Ik stopte de write test halverwege en nu is mijn raid6 data kwijt.

code:

df -h
/dev/md0                           64Z   64Z   99G 100% /raid6

code:

sudo mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Tue Jan  1 14:42:44 2013
     Raid Level : raid6
     Array Size : 230588416 (219.91 GiB 236.12 GB)
  Used Dev Size : 115294208 (109.95 GiB 118.06 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sun Mar 31 15:16:51 2013
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : server:0  (local to host server)
           UUID : 8049a01a:06977013:dfe5180c:667fade7
         Events : 28

    Number   Major   Minor   RaidDevice State
       0       8       18        0      active sync   /dev/sdb2
       1       8       34        1      active sync   /dev/sdc2
       2       8       50        2      active sync   /dev/sdd2
       3       8       66        3      active sync   /dev/sde2

Eens even kijken hoe ik dit fix.

Je hebt je filesystem overschreven door naar /dev/md0 te schrijven ipv /raid6/test.bin oid.

[Dennisik]

Loekie schreef op zondag 31 maart 2013 @ 15:27:
[...]

In principe wel.

[...]

Je hebt je filesystem overschreven door naar /dev/md0 te schrijven ipv /raid6/test.bin oid.

No md superblock detected on /dev/md0.

Middels fdisk -l zie ik dat sdc2 geen partitie heeft, rest van de 3 in mijn array wel. Ik kan sdc2 ook eruit gooien en dan laten rebuilden en dan weer toevoegen. sdc2 verwijderd en opnieuw geplaatst, hij rebuild nu met 40MB/s eens kijken of dit zo werkt.

[ Voor 56% gewijzigd door Dennisik op 31-03-2013 16:07 ]

[Contagion]

Met zichtbare partities heeft het al niks meer mee te maken. Je hebt je filesysteem ge-zero-write. Dus ben je al je data kwijt. Misschien als je verschillende partities OP je md0 array hebt dat je nog een en ander kan terugvinden maar dit lijkt me vooralsnog een verloren zaak. Je had inderdaad moeten testen door een bestand OP de array te schrijven ipv de array zelf.

@loekie: ik heb ZFS uit de ppa van Ubuntu. Dat bevalt uitstekend: https://launchpad.net/~zfs-native/+archive/stable

[ Voor 13% gewijzigd door Contagion op 31-03-2013 16:24 ]

[FireDrunk]

Ik denk ook inderdaad dat het een verloren zaak is. Als je nog data terug wil, zal je echt moeten scannen.
Je kan de MD array terug opbouwen met een --asume-clean, dan blijft de data redelijkerwijs intact.

Wat ik gedaan heb om data terug te halen op die manier, was een iSCSI initiator installeren, en via iSCSI mijn hele /dev/md0 device publiceren.
Daarna in Windows met de goede tools het iSCSI volume checken.

Als je wel X op je server hebt, is er ook een Linux versie.

Linux:
http://www.ufsexplorer.com/download.php?prod=sr&os=lin

Windows:
http://www.ufsexplorer.com/download.php?prod=sr&os=win

[ Voor 19% gewijzigd door FireDrunk op 31-03-2013 16:31 ]

[Dennisik]

Contagion schreef op zondag 31 maart 2013 @ 16:24:
Met zichtbare partities heeft het al niks meer mee te maken. Je hebt je filesysteem ge-zero-write. Dus ben je al je data kwijt. Misschien als je verschillende partities OP je md0 array hebt dat je nog een en ander kan terugvinden maar dit lijkt me vooralsnog een verloren zaak. Je had inderdaad moeten testen door een bestand OP de array te schrijven ipv de array zelf.

@loekie: ik heb ZFS uit de ppa van Ubuntu. Dat bevalt uitstekend: https://launchpad.net/~zfs-native/+archive/stable

True, maar ik weet niet of die seq of random schrijft. Anders ben ik slechts een paar 100MB kwijt aangezien die paar seconde draaide.

write test had ik te snel uitgevoerd inderdaad, dacht er even niet bij na.

Rebuild werkt inderdaad niet, is geen groot probleem. Alle data staat nog op deze computer, al is dat nu natuurlijk een SPOF geworden.

Mss dat ik met software even kijken of ik data eruit ga halen. Anders remove ik deze array en rebuild ik hem gewoon, is minste werkt.

RAID6 array wordt al gebuild, zal vanavond eens test draaien met 256k en 16384k cache_size

[ Voor 4% gewijzigd door Dennisik op 31-03-2013 17:14 ]

[Contagion]

Waarom denk je dat de array stuk is en moet rebuilden? Ik zie gewoon 4 active devices. Wat zegt

cat /proc/mdadm

Als je zeroes schrijft over het deel waar je file allocation tabel staat dan wordt het heel lastig. Je kan wel zoals Firedrunk aangeeft als iSCSI aanbieden, maar als je een md-array hebt neem ik ook aan dat je een Liunx filesysteem on-top hebt. Aanbieden aan Windows voor recovery levert dan niet veel op (of zijn daar ook tools voor EXT2/3/4 etc?).

Ik denk dat je met e2fsck /dev/md0 nog eens kan kijken hoe en wat evt. met een verwijzijng naar een ander superblock.

[Dennisik]

Contagion schreef op zondag 31 maart 2013 @ 17:31:
Waarom denk je dat de array stuk is en moet rebuilden? Ik zie gewoon 4 active devices. Wat zegt

cat /proc/mdadm

Als je zeroes schrijft over het deel waar je file allocation tabel staat dan wordt het heel lastig. Je kan wel zoals Firedrunk aangeeft als iSCSI aanbieden, maar als je een md-array hebt neem ik ook aan dat je een Liunx filesysteem on-top hebt. Aanbieden aan Windows voor recovery levert dan niet veel op (of zijn daar ook tools voor EXT2/3/4 etc?).

Ik denk dat je met e2fsck /dev/md0 nog eens kan kijken hoe en wat evt. met een verwijzijng naar een ander superblock.

e2fsck /dev/md0 werkte ook niet.

code:

server:/var/log$ sudo fsck /dev/md0
fsck from util-linux 2.20.1
e2fsck 1.42 (29-Nov-2011)
fsck.ext4: Superblock invalid, trying backup blocks...
fsck.ext4: Bad magic number in super-block while trying to open /dev/md0

The superblock could not be read or does not describe a correct ext2
filesystem.  If the device is valid and it really contains an ext2
filesystem (and not swap or ufs or something else), then the superblock
is corrupt, and you might try running e2fsck with an alternate superblock:
    e2fsck -b 8193 <device>

sudo e2fsck  /dev/md0
e2fsck 1.42 (29-Nov-2011)
e2fsck: Superblock invalid, trying backup blocks...
e2fsck: Bad magic number in super-block while trying to open /dev/md0

Had nog wel kunnen zoeken naar andere superblocks, maar heb dat niet gedaan.

code:

Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid6 sdc2[1] sdb2[0] sdd2[2] sde2[3]
      230588416 blocks super 1.2 level 6, 512k chunk, algorithm 2 [4/4] [UUUU]

Dit was als goed is de output.

Niet dat het uitmaakt, grof foutje en gelukkig staat alles nog op een andere plaats.

Raid array is inmiddels weer klaar.

[ Voor 27% gewijzigd door Dennisik op 31-03-2013 17:44 ]

[Dennisik]

MDADAM RAID6 write en read speeds

4x100GB mdadm RAID6
Specs raid config

code:

md0 : active raid6 sde2[3] sdd2[2] sdc2[1] sdb2[0]
      230588416 blocks super 1.2 level 6, 512k chunk, algorithm 2 [4/4] [UUUU]

cat /sys/block/md0/md/stripe_cache_size
256

mdadm --detail /dev/md0
 Version : 1.2
  Creation Time : Sun Mar 31 17:12:49 2013
     Raid Level : raid6
     Array Size : 230588416 (219.91 GiB 236.12 GB)
  Used Dev Size : 115294208 (109.95 GiB 118.06 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sun Mar 31 17:52:07 2013
          State : active
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : server:0  (local to host server)
           UUID : 17013b46:ec6e5897:63fdec3e:945f1737
         Events : 20

    Number   Major   Minor   RaidDevice State
       0       8       18        0      active sync   /dev/sdb2
       1       8       34        1      active sync   /dev/sdc2
       2       8       50        2      active sync   /dev/sdd2
       3       8       66        3      active sync   /dev/sde2

Alle test zijn ~8GB (2xRAM)

Write

code:

sudo dd if=/dev/zero of=/raid6/test2.bin bs=1024 count=8000000
8192000000 bytes (8.2 GB) copied, 88.5219 s, 92.5 MB/s
8192000000 bytes (8.2 GB) copied, 88.8447 s, 92.2 MB/s

sudo dd if=/dev/zero of=/raid6/test2.bin bs=4096 count=2000000
8192000000 bytes (8.2 GB) copied, 83.0183 s, 98.7 MB/s

sudo dd if=/dev/zero of=/raid6/test2.bin bs=65536 count=125000
8192000000 bytes (8.2 GB) copied, 81.5194 s, 100 MB/s

sudo dd if=/dev/zero of=/raid6/test2.bin bs=131072 count=65536
8589934592 bytes (8.6 GB) copied, 87.6518 s, 98.0 MB/s

Ongeacht blok size is write test circa ~95MB/s

Read

code:

sudo dd if=/raid6/test2.bin of=/dev/null bs=1024 count=8000000
8192000000 bytes (8.2 GB) copied, 63.1433 s, 130 MB/s
8192000000 bytes (8.2 GB) copied, 57.9955 s, 141 MB/s

sudo dd if=/raid6/test2.bin of=/dev/null bs=4096 count=2000000
8192000000 bytes (8.2 GB) copied, 56.4713 s, 145 MB/s

sudo dd if=/raid6/test2.bin of=/dev/null bs=65536 count=125000
8192000000 bytes (8.2 GB) copied, 56.4362 s, 145 MB/s

sudo dd if=/raid6/test2.bin of=/dev/null bs=131072 count=65536
8589934592 bytes (8.6 GB) copied, 59.2015 s, 145 MB/s

Ongeacht blocksize is read test ongeveer ~140MB/s

htop stond onder alle tests aan, CPU en RAM is iig geen bottleneck.

Na tunen

Aangepaste paramaters:
stripe_cache_size was 256 nu 8192

queue_depth was al overal 31
chunk size = 512488
block size = 512

chunk/block = stride
stride-width = stride*(disk-partity disk = 4-2=2)

stride=1024
stride-width=2048

Write

code:

sudo dd if=/dev/zero of=/raid6/test2.bin bs=1024 count=8000000
8192000000 bytes (8.2 GB) copied, 66.6534 s, 123 MB/s

sudo dd if=/dev/zero of=/raid6/test2.bin bs=4096 count=2000000
8192000000 bytes (8.2 GB) copied, 67.916 s, 121 MB/s

sudo dd if=/dev/zero of=/raid6/test2.bin bs=65536 count=125000
8192000000 bytes (8.2 GB) copied, 66.663 s, 123 MB/s

sudo dd if=/dev/zero of=/raid6/test2.bin bs=131072 count=65536
8589934592 bytes (8.6 GB) copied, 70.9333 s, 121 MB/s

Ongeacht blocksize is read test ongeveer ~122MB/s

Read

code:

sudo dd if=/raid6/test2.bin of=/dev/null bs=1024 count=8000000
8192000000 bytes (8.2 GB) copied, 40.5733 s, 202 MB/s

sudo dd if=/raid6/test2.bin of=/dev/null bs=4096 count=2000000
8192000000 bytes (8.2 GB) copied, 40.3712 s, 203 MB/s

sudo dd if=/raid6/test2.bin of=/dev/null bs=65536 count=125000
8192000000 bytes (8.2 GB) copied, 41.235 s, 199 MB/s

sudo dd if=/raid6/test2.bin of=/dev/null bs=131072 count=65536
8192000000 bytes (8.2 GB) copied, 40.2707 s, 203 MB/s

Ongeacht blocksize is read test ongeveer ~200MB/s

[ Voor 43% gewijzigd door Dennisik op 31-03-2013 21:17 ]

[Contagion]

Hmm ik vind het niet zulke spannende waarden. Wat voor harddisks hangen daaronder? En wat verandert er met de chunk size of read ahead block size?

Aan de andere kant: het is RAID6 over 4 disks. als ~100 MB/sec dus 2x de ruwe harddisk speed is dan is het wel redelijk ok. je hebt een array gemaakt over sdX2 dus de 2e partitie op de drive. Dat zal dus niet het begin van de drive zijn maar iets verderop de disk en daarom ook wat trager.

[Dennisik]

Contagion schreef op zondag 31 maart 2013 @ 18:19:
Hmm ik vind het niet zulke spannende waarden. Wat voor harddisks hangen daaronder? En wat verandert er met de chunk size of read ahead block size?

Aan de andere kant: het is RAID6 over 4 disks. als ~100 MB/sec dus 2x de ruwe harddisk speed is dan is het wel redelijk ok. je hebt een array gemaakt over sdX2 dus de 2e partitie op de drive. Dat zal dus niet het begin van de drive zijn maar iets verderop de disk en daarom ook wat trager.

Zijn allemaal partities van 2TB schijven, de rest van de 2TB wordt gebruikt in diverse lvm groups die op dit moment niet worden aangesproken.

Tunen moet ik nog doen, lvm config en HDD types zal ik vanavond even posten.

[Contagion]

Je hoeft het niet zo gedetailleerd te geven hoor . Welk filesysteem zit er onder? Ik heb toen voor XFS gekozen. XFS kan je namelijk defragmenteren (goed voor lineaire doorvoer), growen en heel snel checken. EXT2/3 zijn een drama voor zo'n grote array. EXT4 zou nog kunnen maar toen ik Linux RAID5 draaide was EXT4 nog experimental .

[Dennisik]

Ubuntu 12.04 64 Bits met EXT4 is het

[ Voor 53% gewijzigd door Dennisik op 31-03-2013 18:33 ]

[Contagion]

Als je nog aan het experimenteren bent kun je ook nog eens kijken hoe XFS bevalt.

[FireDrunk]

Xfs heeft alleen geen recovery, en kan je niet shrinken...

[Contagion]

Recovery? Shrinken kan inderdaad niet. Maar je wilt toch altijd meer, meer, meer .

[Dennisik]

Parameters hierboven gezet, zijn al iets oudere disks dus kan helaas geen 4K sectors draaien.

Disk zijn een HD204UI, WD20EARS en 2x Seagate ST2000DL003

Kwa write winst zit ik op ongeveer 15 tot 20%
92MB naar 113MB = 22%

Voor read is dat ook ongeveer 25 tot 30%
130MB naar 177MB = 36%
145MB naar 182MB = 25%

Percentueel gezien wel leuke resultaten. In de praktijk zal ik het niet merken omdat alles hier over 1Gb gaat, en met iperf kom ik niet boven de write snelheden helaas.

[ Voor 46% gewijzigd door Dennisik op 31-03-2013 20:44 ]

[Loekie]

Contagion schreef op zondag 31 maart 2013 @ 20:01:
Recovery? Shrinken kan inderdaad niet. Maar je wilt toch altijd meer, meer, meer .

Ik kan me een scenario voorstellen waarbij je wel wilt kunnen schrinken bij uitval van schijf en tekort aan reserveschijven. Je kunt dan kiezen om van raid6 terug te gaan naar raid5 of juist schrinken als je storage bij lange na niet vol is bijvoorbeeld.
Ik houd nu een reserveschijf standby op de plank igv defect, maar had dan ook geluk dat dit voor de overstromingen in het verre oosten aangeschaft was.(60 voor 2TB-disk)

[Galaxis]

Kan iemand mij advies geven ?

Ik heb een systeempje gebouwd voor het volgende :

Ruimte delen in het netwerk
FTP
Downloadbak
Mediastreamer
En er wordt een website op gehost.

Heeft iemand advies voor welk besturingssysteem "?

[FireDrunk]

Windows, Linux, Solaris FreeBSD, of misschien Android... wat wil je zefl?

[Dennisik]

Contagion schreef op zondag 31 maart 2013 @ 13:36:
Toen ik nog RAID5 onder Linux gebruikte gaf mij het in elk geval een enorme performance boost. Zie bijv. ook grafiekjes op http://peterkieser.com/20...e_size-vs-write-transfer/

Inmiddels gebruik ik alleen nog RAID1 op een simpele server en ZFS op krachtigere (Linux) computer. Ik weet niet wat je gaat opslaan, maar het kan praktisch zijn om een bitmap aan te zetten op je array. Als om wat voor reden dan ook 1 harddisk even niet meedoet hoeft hij niet ALLES weer te resyncen (wat bij grote schijven natuurlijk uren duurt). De bitmap houdt min of meer bij wat er gewijzigd is en bij terugplaatsen van een schijf die eerder in de array zat worden alleen die blokken weer gesynct.

Na een reboot worden me stripe_cache_size en stride, stripe-width weer veranderd naar de normale settings.
Is dit ergens aan te passen?

Mijn initramfs heb ik al geupdate daarna, anders moet ik het in mijn rc.local zetten.

Mmh, na reboot is write nog eens 10% gestegen naar 123MB/s, waar read is gestegen tot bijna 200MB/s

[ Voor 4% gewijzigd door Dennisik op 31-03-2013 21:09 ]

[FireDrunk]

Sysctl.conf

[Demo]

FireDrunk schreef op zondag 31 maart 2013 @ 21:10:
Sysctl.conf

Die doet je /proc/sys
Onder Debian installeer je sysfsutils en pas je /etc/sysfs.conf aan.

Ik heb het volgende in mijn config, pas de waarden vooral aan naar wat je zelf als beste hebt bevonden.

code:

## Change some on physical volumes
# Set scheduler
block/sdc/queue/scheduler = deadline
block/sdd/queue/scheduler = deadline
block/sde/queue/scheduler = deadline
block/sdf/queue/scheduler = deadline

# Change block size
block/sdc/queue/max_sectors_kb = 512
block/sdd/queue/max_sectors_kb = 512
block/sde/queue/max_sectors_kb = 512
block/sdf/queue/max_sectors_kb = 512

# Change read ahead
# Net als blockdev --setra maar die doet blocks (512b) dus dit is de helft
block/sdc/queue/read_ahead_kb = 32
block/sdd/queue/read_ahead_kb = 32
block/sde/queue/read_ahead_kb = 32
block/sdf/queue/read_ahead_kb = 32

# Change queue depth (NCQ)
block/sdc/device/queue_depth = 1
block/sdd/device/queue_depth = 1
block/sde/device/queue_depth = 1
block/sdf/device/queue_depth = 1

# Change number of requests (default: 128)
block/sdc/queue/nr_requests = 512
block/sdd/queue/nr_requests = 512
block/sde/queue/nr_requests = 512
block/sdf/queue/nr_requests = 512

## Change some on logical volume
block/md0/md/stripe_cache_size = 8192

In /etc/sysctl.conf kan je dan wel weer deze zetten voor snellere rebuilds:

code:

dev.raid.speed_limit_min=50000
dev.raid.speed_limit_max=500000

[Dennisik]

FireDrunk schreef op zondag 31 maart 2013 @ 21:10:
Sysctl.conf

Danku,

Hierbij nog even de resultaten. Na reboot waren de resultaten nog wat sneller.

Met paramaters in deze post: Dennisik in "Het grote DIY RAID NAS topic deel 3"

Write winst
Gemiddeld 97MB/s -> 122MB/s = 25.77%

Read winst
Gemiddeld 141MB/s -> 202MB/s = 43.26%

[Contagion]

Ziet er goed uit. Reads rond de 200MB/sec lijken me prima in orde. Er is wat miscommunicatie in onze posts omdat we ze beide ge-edit hebben .

[Galaxis]

FireDrunk schreef op zondag 31 maart 2013 @ 20:41:
Windows, Linux, Solaris FreeBSD, of misschien Android... wat wil je zefl?

Iets wat het makkelijkste te managen is. Met windows heb ik ervaring , linux distro's niet. Maar ik ben niet te beroerd om iets te leren .

Vandaar mijn vraag

[FireDrunk]

Tja, dat ligt totaal aan je zelf, als jij geen ZFS of RAID gebruikt, kan je met Windows prima toe.
Al jou eisen kunnen met bijna alle operating systems.

Heb je al voorkeur voor bepaalde software die aan een OS gebonden is? Want dat maakt je keuze natuurlijk heel makkelijk.

Als je nu SabNZBd onder Windows gebruikt, kan je dat net zo goed onder Linux gaan gebruiken...
Enige reden om voor Linux te gaan, is het feit dat het gratis is, en je soms wat meer kan, maar als je er niet mee om kan gaan, kan je beter Windows gebruiken.

Dat is zuiniger.

[OMX2000]

Contagion schreef op zondag 31 maart 2013 @ 21:26:
Ziet er goed uit. Reads rond de 200MB/sec lijken me prima in orde. Er is wat miscommunicatie in onze posts omdat we ze beide ge-edit hebben .

Met hoeveel schijven? Ik doe met 4 schijven in RAID5 300 MB/s (XFS en gevirtualiseerd binnen ESXi)

[Dennisik]

OMX2000 schreef op maandag 01 april 2013 @ 11:16:
[...]


Met hoeveel schijven? Ik doe met 4 schijven in RAID5 300 MB/s (XFS en gevirtualiseerd binnen ESXi)

4 partities van 100GB in RAID6 met MDADM ext4.
Zit zo in elkaar: http://i.imgur.com/v5byBOl.jpg

Snelheid voor de raid array is niet belangrijk, staat nu slechts 27GB op.
En zijn veel kleine bestanden. Was wel even leuk om met de performance te spelen.

Ik heb een ietswat moeilijker constructie in elkaar gezet met LVM en MDADM.
Werkt perfect, alleen bij opzetten moest ik even 5 minuten nadenken.

[ Voor 14% gewijzigd door Dennisik op 01-04-2013 14:22 ]

[Contagion]

Zeker voor het feit dat je de laatste stukjes disk gebruikt is de performance prima hoor.

[-The_Mask-]

mux schreef op vrijdag 29 maart 2013 @ 21:01:
Potentieel >25% afwijking. De voeding 'meet' niet echt, maar gokt een hoop.

Voeding meet het wel degelijk, alleen is die niet heel precies, maar aan de software wordt sowieso nog gewerkt.

Zie: http://www.corsair.com/en...xi-series-power-supplies/ voor meer info.

[Demo]

Dennisik schreef op maandag 01 april 2013 @ 14:17:
[...]

4 partities van 100GB in RAID6 met MDADM ext4.
Zit zo in elkaar: http://i.imgur.com/v5byBOl.jpg

Snelheid voor de raid array is niet belangrijk, staat nu slechts 27GB op.
En zijn veel kleine bestanden. Was wel even leuk om met de performance te spelen.

Ik heb een ietswat moeilijker constructie in elkaar gezet met LVM en MDADM.
Werkt perfect, alleen bij opzetten moest ik even 5 minuten nadenken.

Ik snap de constructie met al die partities en VG's niet helemaal.. Ik heb één VG gemaakt bovenop mijn RAID-array en daar de LV's in gemaakt voor vanalles en nog wat, zodat ik zo flexibel mogelijk met de beschikbare ruimte om kan gaan. En een lading monitors in Nagios om er op toe te zien dat er niet een volume vol loopt

[Dennisik]

Demoniac schreef op maandag 01 april 2013 @ 18:56:
[...]
Ik snap de constructie met al die partities en VG's niet helemaal.. Ik heb één VG gemaakt bovenop mijn RAID-array en daar de LV's in gemaakt voor vanalles en nog wat, zodat ik zo flexibel mogelijk met de beschikbare ruimte om kan gaan. En een lading monitors in Nagios om er op toe te zien dat er niet een volume vol loopt

Ik vond het mooier om op VG niveau al alles te scheiden. Enige nadeel is dat ik zo een heel klein beetje meer overhead heb dan normaal, maar dat is niet meer dan 1% schat ik.

Klein voordeel is wel dat als mijn sdb (HD204UI) eruit knalt zijn al mijn files op /hdtv nog beschikbaar.

Nagios heb ik niet draaien, diskspace monitor ik wel via SSH.
Heb wel onderzoek gedaan naar FCAPS software, zal zelf denk OpenNMS implementeren, deze ook geimplementeerd voor bedrijf. Na MoSCow analyse vonden wij deze het meest geschikt t.o.v Nagios, Xymon en Zabbix.

[BackBones]

Hey allemaal,

Ik ben een soort van raid/nas-virgen die daar dan nu toch maar eens aan wil beginnen. Ik heb door dit topic en het ZFS topic gelezen en denk dat ik min of meer klaar ben om een poging te doen. Maar ik hou er nogal van om mijn gedachtes met iemand te checken. Het liefst ieman die er meer verstand van heeft dan ik. Dus voordat ik nou alles bij de basis al in de soep draai wil ik graag even een paar dingetjes checken met jullie . Bij voorbaat dank voor de hulp

Eerst maar even de beschikbare hardware. Dit is een soort van bij elkaar gesprokkeld verhaal en dus niet specifiek aangeschaft met doel om een NAS te bouwen. Dat gezegd denk (en hoop) ik dat het toch toereikend zal zijn om iig mee te beginnen.

* HDD:

• 1 x PATA 133 Maxtor 7200 RPM, 8MB cache 250GB (OS Disk?)
• 2 x SATA 300 Samsung Spinpoint F2 Ecogreen 5400 RPM, 32MB cache 1.5TB
• 5 x SATA 300 Samsung Spinpoint F1 7200 RPM, 32MB cache 1TB
• 1 x SATA 300 Hitachi Deskstar 7200 RPM, 32MB cache 1TB

* Processor: AMD Athlon 64 X2 4800+
* Geheugen: 4GB DDR2 (is dit genoeg?)
* Moederbord: MSI ms 7250 (ondersteund raid 0/1/0+1 en 5 maar hou ik disabled?)
* SATA (RAID) controller met 2 x SATA300 Aansluitingen. Ondersteund raid 0 en 1(ook disabled?) (er zitten ook nog 2 sata aansluitingen aan de achterkant van de controller, maar voor een of andere reden werken die niet. Nog niet al te veel onderzoek naar gedaan omdat ik ze niet echt nodig heb in mijn huidig plan).

Als setup dacht ik iig aan de 2 x 1.5tb schijven in mirror voor mijn belangrijkste data aan de controller.

Verder wil ik voor de overige schijven RaidZ of RaidZ2 gebruiken en aan het moederbord hangen. Mijn vraag vooraf is echter of de Hitachi Deskstar proplemen gaat geven icm de Samsung spinpoints. Als dat zo is, laat ik die er waarschijnlijk gewoon helemaal uit en gebruik ik 5 schijven in RaidZ.
Als het (waarschijnlijk) geen problemen geeft dan denk ik aan of 2 x RaidZ met 3 schijven ieder of 1 x RaidZ2 met alle 6 de schijven. In beide gevallen ben ik 2 disks kwijt aan parity. Tips hierover zijn erg welkom.

Ik dacht aan deze setups met het 4k sectoren verhaal in het achterhoofd alhoewel ik niet zeker ben dat deze schijven dat ondersteunen (ik ben ervan uitgegaan dat ze dat wel doen). Weet iemand hoe ik dit vooraf kan checken?

Voor OS dacht ik ZFSguru te gebruiken. Als ik het goed heb begrepen betekent dit dat ik de raid ondersteuning van zowel het moederbord als de controller niet moet (of zelfs kan) gebruiken, right?

Ik had origineel gedacht om het OS op de Patadisk te instaleren samen met alle andere software die ik (eventueel) nodig heb (en deze eventueel in de toekomst te vervangen met een SSD). Is dit wel zoon goed idee? Ik kan het ook op (een partitie op) de 1.5tb mirror zetten.

Mijn volgende vraag heeft met geheugen te maken. Ik las een advies over 1GB geheugen per disk. Dat zou in dit geval 8GB zijn. (niet eens kijkend naar de patadisk). En ik heb er maar 4 beschikbaar op het moment. Is de 4GB genoeg om iig mee te beginnen? Hoe erg ga ik dit verschil merken? Zijn er nog andere dingen waar ik dan rekening mee moet houden? Ik kan er natuurlijk altijd wat geheugen bij kopen, maar als dat (iig voor nu) niet nodig is wil ik dat even overslaan.

Dit is voor nu wel even genoeg denk ik. Sorry voor het lange verhaal en de vele vragen. Ik hoop dat julle mij kunnen en willen helpen. Nogmaals bij voorbaat dank!

[FireDrunk]

Om er achter te komen of je controllers geschikt zijn voor ZFSguru moeten we eerst weten welk exacte type controllers je hebt. Dan kunnen we kijken of die geschikt zijn voor ZFS.

Voor de rest is het natuurlijk allemaal mogelijk, en 4GB is prima (niet heel snel, maar het werkt prima).

Ik zou die PATA schijf niet meer gebruiken, het is een verouderde standaard, en levert alleen maar meer problemen op.

Je kan inderdaad prima die 2*1.5TB in een Mirror zetten, en de overige schijven in RAID-Z. Omdat het 6 schijven zijn die je in RAID-Z zet, heb je een minimale performance penalty omdat je een niet optimaal aantal schijven hebt, maar in principe is dit niet echt erg, je praat over een paar tientallen MB/s.

Je kan alle merken schijven van alle snelheden mixen, maar dit beinvloed wel de snelheid. Het zal niet lijden tot enige vorm van corruptie. Het werkt allemaal prima.

Verder is ZFSguru natuurlijk een prima OS om mee te beginnen. Kijk wel even of je netwerkkaart ondersteund word door FreeBSD.

Ik zou ZFSguru installeren op je 2*1.5TB pool, dat kan prima, en daar kun je ook gewoon van opstarten. Het is een beetje zonde om voor een installatie van 1GB (want zo groot is ZFSguru) een complete 7200RPM schijf te laten draaien... Beetje energieverspilling...

1GB geheugen per 1TB is het enterprise advies. Voor thuisgebruik, maakt het allemaal weinig uit, zolang je maar iets van 2-4GB voor ZFS hebt, werkt het prima. Hoe meer hoe sneller (en stabielere snelheden). Laat je niet van de wijs brengen door Enterprise richtlijnen.

[Nielson]

SATA (RAID) controller met 2 x SATA300 Aansluitingen. Ondersteund raid 0 en 1(ook disabled?) (er zitten ook nog 2 sata aansluitingen aan de achterkant van de controller, maar voor een of andere reden werken die niet.

Op veel van die kaartjes zit een twee-kanaals controller waarbij je mbv jumpers kunt kiezen of je de interne of externe sata poorten gebruikt. Als je 'm gaat gebruiken kijk dan even naar welke chip er op zit, ze werken niet allemaal even lekker in freebsd of linux.

[Verwijderd]

BackBones schreef op dinsdag 02 april 2013 @ 19:51:
Ik ben een soort van raid/nas-virgen die daar dan nu toch maar eens aan wil beginnen. Ik heb door dit topic en het ZFS topic gelezen en denk dat ik min of meer klaar ben om een poging te doen.

Leuk dat je ook wilt beginnen met serieuze opslag. Ik kan dit alleen maar toejuichen.

Eerst maar even de beschikbare hardware. Dit is een soort van bij elkaar gesprokkeld verhaal en dus niet specifiek aangeschaft met doel om een NAS te bouwen. Dat gezegd denk (en hoop) ik dat het toch toereikend zal zijn om iig mee te beginnen.

Ja en nee. Je oudere hardware is vaak niet zo heel geschikt als 24/7 NAS, en in het bijzonder minder geschikt als ZFS NAS. Daar zijn diverse redenen voor:

• Duur in gebruik; je oudere hardware kost honderden euro's per jaar om te draaien; dat nemen veel mensen niet mee in hun beslissing. 50W mag je blij mee zijn en dat is al 100 euro per jaar bij 24/7 gebruik. Als je oudere server boven de 100W zit gaat dat dus om honderden euro's. Dan kan het lonen om nu iets nieuws en dus iets zuinigs te kopen.
• Weinig geheugen; systemen worden met opzet met te weinig RAM geheugen geleverd. Altijd een heel krachtige processor, maar te weinig geheugen. Dat is uit balans. Ik denk dat dat met opzet is om de economische levensduur ver onder de technische levensduur te houden, door degenen die daar belang bij hebben. Voor ZFS is dit extra nadelig omdat die juist weinig CPU kracht maar wel heel geheugeninstensief is. Oudere systemen hebben dus een 'verkeerde' balans tussen CPU kracht en RAM geheugen.
• Oudere systemen barsten van de BIOS issues. BIOS updates kunnen wel verlichting geven, maar soms blijf je er mee kloten en dat is niet goed voor je suikerspiegel.
• Oudere systemen hebben vaak minder SATA aansluitingen, minder PCI-express en meer bandbreedte-restricties zoals dat alle PCI-express via de chipset loopt ipv DMI/HTT.
• Het uitbreiden of oplappen van een ouder systeem loont vaak niet. De kosten voor DDR2 geheugen zijn bijvoorbeeld veel hoger dan DDR3 geheugen. Dat maakt dat het soms wel heel aantrekkelijk wordt om lekker nieuw te kopen een systeempje voor 100 euro, wat je binnen een jaar mogelijk al hebt terugverdiend.

Dat gezegd, het lijkt mij uitstekend dat je je huidige systeem gebruikt als instap ZFS NAS en dat op die manier prima kunt uitproberen. Dan kun je later als het je bevalt wellicht een 'echt' ZFS systeem samenstellen met genoeg RAM geheugen enzovoorts en natuurlijk lekker zuinig. Je huidige systeem is 64-bit en dat is het belangrijkste voor ZFS.

* HDD:

• 1 x PATA 133 Maxtor 7200 RPM, 8MB cache 250GB (OS Disk?)
• 2 x SATA 300 Samsung Spinpoint F2 Ecogreen 5400 RPM, 32MB cache 1.5TB
• 5 x SATA 300 Samsung Spinpoint F1 7200 RPM, 32MB cache 1TB
• 1 x SATA 300 Hitachi Deskstar 7200 RPM, 32MB cache 1TB

Je hebt dus 6 keer 1TB en 2 keer 1,5TB. Ik zou daar van maken twee pools:
- 2 keer 1,5TB in een mirror configuratie. Daar zou ik het operating system op installeren en backups of andere dingen die je apart wilt hebben
- 6 keer 1TB in een RAID-Z2 configuratie; lekker veel veiligheid maar wel beperkte opslag (4TB).
Ik zou hier twee losse pools van maken. De PATA schijf kost je heel veel energie (oude schijven verbruiken vaak evenveel als twee moderne schijven) terwijl het weinig toevoegt. Die 250GB schijf zou ik dus niet gebruiken.

* Geheugen: 4GB DDR2 (is dit genoeg?)

Net te weinig voor prefetching. Je prestaties zullen lager zijn dan de hardware zou kunnen ondersteunen. Je kunt wel tuning gebruiken om prefetching geforceerd in te schakelen. In jouw geval is maximale performance helemaal niet het hoofdpunt denk ik. Zou je echter in de toekomst een 'echte ZFS NAS' kopen, dan haal je natuurlijk 2x8 of zelfs 4x8 dus 16GiB of 32GiB RAM; het praktische maximum voor normale consumentenbordjes.

* Moederbord: MSI ms 7250 (ondersteund raid 0/1/0+1 en 5 maar hou ik disabled?)

Chipset SATA is gewoon een SATA controller zonder RAID. De RAID ondersteuning wordt enkel geleverd door Windows-only drivers. Voor BSD, Linux en Solaris is dit dus gewoon een SATA controller. Het zou het beste zijn als je deze kunt instellen op AHCI; dat kunnen niet alle oudere bordjes. Maar dit gaat zeker werken dus.

Verder wil ik voor de overige schijven RaidZ of RaidZ2 gebruiken en aan het moederbord hangen. Mijn vraag vooraf is echter of de Hitachi Deskstar proplemen gaat geven icm de Samsung spinpoints. Als dat zo is, laat ik die er waarschijnlijk gewoon helemaal uit en gebruik ik 5 schijven in RaidZ.
Als het (waarschijnlijk) geen problemen geeft dan denk ik aan of 2 x RaidZ met 3 schijven ieder of 1 x RaidZ2 met alle 6 de schijven. In beide gevallen ben ik 2 disks kwijt aan parity. Tips hierover zijn erg welkom.

RAID-Z2 met 6 disks lijkt mij het meest sexy. Dan heb je ultragoede bescherming terwijl je de overhead op 33% nog enigszins bescheiden houdt. Vergelijking: in principe heb je dezelfde bescherming met een 3-disk mirror; die heeft 66% overhead.

Ik dacht aan deze setups met het 4k sectoren

Dit soort ietwat oudere schijven zijn hoogstwaarschijnlijk gewoon 512B sector. Maar al zouden ze 4K zijn; de configuraties die ik noem (5 disk RAID-Z en 6-disk RAID-Z2) zijn optimaal voor 4K disks. Geen problemen hier.

Voor OS dacht ik ZFSguru te gebruiken. Als ik het goed heb begrepen betekent dit dat ik de raid ondersteuning van zowel het moederbord als de controller niet moet (of zelfs kan) gebruiken, right?

Correct, zie ook hierboven. Voor ZFS is jouw chipset SATA gewoon een SATA (IDE of AHCI) controller. Echter, zou je écht een RAID controller gebruiken zoals Areca, dan is deze in principe ongeschikt voor ZFS. Dit is belangrijk om te onthouden! ZFS gaat niet samen met (echt) hardware RAID.

Succes met je build!

[BackBones]

Bedankt voor de snelle reacties tot nu toe. Ik kan nu even de type controllers niet controleren omdat ze in gebruik zijn. Ik lees de reacties morgen nog een keer door en dan horen jullie meer

FireDrunk schreef op dinsdag 02 april 2013 @ 20:12:
Om er achter te komen of je controllers geschikt zijn voor ZFSguru moeten we eerst weten welk exacte type controllers je hebt. Dan kunnen we kijken of die geschikt zijn voor ZFS.

Nielson schreef op dinsdag 02 april 2013 @ 20:42:
[...]
Op veel van die kaartjes zit een twee-kanaals controller waarbij je mbv jumpers kunt kiezen of je de interne of externe sata poorten gebruikt. Als je 'm gaat gebruiken kijk dan even naar welke chip er op zit, ze werken niet allemaal even lekker in freebsd of linux.

Ah dat van die jumpers wist ik niet. Heb even gechecked, de jumpers zitten er idd op. Aangezien de interne werken is dat gewoon in orde zo dan. De Type controller is een Sweex PU101. (vraag me niet waarom ze daar een foto van een netwerkkaart hebben neergeplakt). Ik zie nu zelf pas dat de transferrate van de controller maar 150Mbps ipv 300Mbps. Dus ik denk dat jullie mij aan de hand daarvan alleen al gaan vertellen om die kaart niet te begruiken Bovendien word de controller voor zover ik kon uitvinden niet ondersteund door FreeBSD. In dat geval zal ik weer even over mijn setup na moeten gaan denken want dan heb ik nog maar 6 Sata connecties over.

FireDrunk schreef op dinsdag 02 april 2013 @ 20:12:
Kijk wel even of je netwerkkaart ondersteund word door FreeBSD.

Netwerk (onboard) controller: NVIDIA nForce MCP55 Networking Adapter -> word ondersteund Bedankt voor de tip.

Verwijderd schreef op dinsdag 02 april 2013 @ 21:13:

Je hebt dus 6 keer 1TB en 2 keer 1,5TB. Ik zou daar van maken twee pools:
- 2 keer 1,5TB in een mirror configuratie. Daar zou ik het operating system op installeren en backups of andere dingen die je apart wilt hebben
- 6 keer 1TB in een RAID-Z2 configuratie; lekker veel veiligheid maar wel beperkte opslag (4TB).
Ik zou hier twee losse pools van maken. De PATA schijf kost je heel veel energie (oude schijven verbruiken vaak evenveel als twee moderne schijven) terwijl het weinig toevoegt. Die 250GB schijf zou ik dus niet gebruiken.

mee eens. no further comments

Verwijderd schreef op dinsdag 02 april 2013 @ 21:13:
Net te weinig voor prefetching. Je prestaties zullen lager zijn dan de hardware zou kunnen ondersteunen. Je kunt wel tuning gebruiken om prefetching geforceerd in te schakelen. In jouw geval is maximale performance helemaal niet het hoofdpunt denk ik. Zou je echter in de toekomst een 'echte ZFS NAS' kopen, dan haal je natuurlijk 2x8 of zelfs 4x8 dus 16GiB of 32GiB RAM; het praktische maximum voor normale consumentenbordjes.

Ja ik dacht het eerst maar es even uit te proberen en wat te prutsen voordat ik een rekening voor nieuwe hardware aan mijn vrouw voorschotel. Voor nu kan ik uit de voeten iig.

Verwijderd schreef op dinsdag 02 april 2013 @ 21:13:
Chipset SATA is gewoon een SATA controller zonder RAID. De RAID ondersteuning wordt enkel geleverd door Windows-only drivers. Voor BSD, Linux en Solaris is dit dus gewoon een SATA controller. Het zou het beste zijn als je deze kunt instellen op AHCI; dat kunnen niet alle oudere bordjes. Maar dit gaat zeker werken dus.

hmmm ik denk dat mijn mobo idd geen AHCI ondersteund.... Wat doet/is dat eigenlijk? ik google/wiki het (later) wel

Verwijderd schreef op dinsdag 02 april 2013 @ 21:13:
Dit soort ietwat oudere schijven zijn hoogstwaarschijnlijk gewoon 512B sector. Maar al zouden ze 4K zijn; de configuraties die ik noem (5 disk RAID-Z en 6-disk RAID-Z2) zijn optimaal voor 4K disks. Geen problemen hier.

Ok, nu even aangenomen dat ze 512b sector disken zijn, maakt dat nog verschil uit hoeveel disken ik dan in de setup hang? of is dat een soort van niet van toepassing (as in verschil ga ik niet merken)?

Beadankt voor alle feedback.

[ Voor 91% gewijzigd door BackBones op 03-04-2013 13:05 ]

[victorb]

En mooie ZFS build op youtube!

[FireDrunk]

Beetje jammer van die 520 Als dat nou een 320 was geweest, was het bijna de perfecte ZFS build geweest

Hoewel hij het niet over ZIL heeft, ga ik er wel vanuit dat hij hem daarvoor wil gebruiken.

[jacovn]

Op 2 minuten spreekt hij over een zil..

Ik heb overigens een norco 4220 in bestelling staan, fotos zal ik wel in mijn topic zetten als de zaak overgebouwd is.

[BartNL]

victorb schreef op vrijdag 05 april 2013 @ 22:51:
En mooie ZFS build op youtube!

zijn tekst op 0:24 ...inspired me...

[FireDrunk]

BackBones schreef op dinsdag 02 april 2013 @ 21:24:
Bedankt voor de snelle reacties tot nu toe. Ik kan nu even de type controllers niet controleren omdat ze in gebruik zijn. Ik lees de reacties morgen nog een keer door en dan horen jullie meer


[...]


[...]


Ah dat van die jumpers wist ik niet. Heb even gechecked, de jumpers zitten er idd op. Aangezien de interne werken is dat gewoon in orde zo dan. De Type controller is een Sweex PU101. (vraag me niet waarom ze daar een foto van een netwerkkaart hebben neergeplakt). Ik zie nu zelf pas dat de transferrate van de controller maar 150Mbps ipv 300Mbps. Dus ik denk dat jullie mij aan de hand daarvan alleen al gaan vertellen om die kaart niet te begruiken Bovendien word de controller voor zover ik kon uitvinden niet ondersteund door FreeBSD. In dat geval zal ik weer even over mijn setup na moeten gaan denken want dan heb ik nog maar 6 Sata connecties over.

Ik weet niet of je dat moet willen... Kan je zien op het kaartje zelf wat voor chipset het is? Want sweex maakt zelf niks, die kopen hooguit in. Het zal iets van Promise, Marvell, VIA, ofzoiets zijn.

[...]


Netwerk (onboard) controller: NVIDIA nForce MCP55 Networking Adapter -> word ondersteund Bedankt voor de tip.

[...]


mee eens. no further comments


[...]


Ja ik dacht het eerst maar es even uit te proberen en wat te prutsen voordat ik een rekening voor nieuwe hardware aan mijn vrouw voorschotel. Voor nu kan ik uit de voeten iig.


[...]


hmmm ik denk dat mijn mobo idd geen AHCI ondersteund.... Wat doet/is dat eigenlijk? ik google/wiki het (later) wel

AHCI is een standaard voor communicatie tussen OS en de controller, waar SATA alleen maar een standaard is voor communcatie tussen controller en schijf.

In de AHCI specificatie staat een hoop over hoe devices aangesproken moeten worden via de controller, en over signalen als fouten, en hotswap mogelijkheden. Ook power management is een belangrijk onderdeel van AHCI.

Wikipedia: Advanced Host Controller Interface

[...]


Ok, nu even aangenomen dat ze 512b sector disken zijn, maakt dat nog verschil uit hoeveel disken ik dan in de setup hang? of is dat een soort van niet van toepassing (as in verschil ga ik niet merken)?

Beadankt voor alle feedback.

Als je het alleen maar voor de test doet, moet je juist zoveel mogelijk verschillende combinaties testen, dan weet je snel genoeg wat jij het fijnst vind en of iets werkt. Kijk bijvoorbeeld of een mirror config veel sneller is dan RAIDZ. RAIDZ is vaak iets zwaarder en zal meer belasting leggen op je CPU / Geheugen, en misschien dat je dan bottlenecks gaat vinden die je niet wil hebben.

[Nielson]

FireDrunk schreef op zaterdag 06 april 2013 @ 11:37:
Ik weet niet of je dat moet willen... Kan je zien op het kaartje zelf wat voor chipset het is? Want sweex maakt zelf niks, die kopen hooguit in. Het zal iets van Promise, Marvell, VIA, ofzoiets zijn.

Aan de driver te zien zit er een Silicon Image SiI 3112 op, welke volgens mij wel redelijk goed ondersteund wordt.

[BackBones]

Nielson schreef op zaterdag 06 april 2013 @ 11:43:
[...]
Aan de driver te zien zit er een Silicon Image SiI 3112 op, welke volgens mij wel redelijk goed ondersteund wordt.

interessant. inmiddels een paar stapjes verder en de disken werden via die sweex controller helemaal niet herkend.
Het projectje ligt even stil op het moment. er zijn inmiddels 2 van de 1tb schijven gesneuveld . (SMART vond ze niet meer leuk weet even de details niet meer) en 2 andere (2x SAMSUNG HD103UJ 1AA01110> ATA-7 SATA 2.x device) kan ik voor een of andere reden niet formateren naar GPT. Ik krijg daar de volgende error:

ERROR: Formatting disk ada3 failed, got return value 1. Command output:

Formatting disk ada3...dd: /dev/ada3: Operation not permitted
Waarom is me niet geheel duidelijk. 1 andere samsung en de hitatchi dekstar worden wel gewoon geformateerd.

[Verwijderd]

Heb je de disks al als NTFS-schijf gebruikt? Zo ja probeer een zero-write te doen. Andere mogelijkheid is dat je de schijf in gebruik hebt, bijvoorbeeld door ZFS. Dus probeer wat meer info te geven (via DM graag; dit gaat trouwens ook vooral over ZFS).

Silicon Image SiI-3112 en 3114 zijn trouwens wel slechte controllers, en PCI dus ernstig beperkt in bandbreedte. Maar de drivers in FreeBSD zouden wel goed moeten zijn.

[FireDrunk]

Misschien leuk voor sommigen om te weten, ik heb momenteel 12 harddisks in mijn server op een 300W voeding. Spinup verbruik is 252W max, idle verbruik is 95-108W. Wat mij erg meevalt met 12 schijven

Het leukste: In spindown, verbruikt de hele server maar 56W

[Phuncz]

Dus uitgaand van de server zonder actieve disks van 56W: 16W per drive tijdens spin-up en ~3.5-4.0W per drive idle.

Leuk zou nu nog zijn om te weten welke drives en welke voeding.

Er is wel iets dat me boeit en dat is namelijk staggered spin-up: dit is omschreven in de SATA-power specs, waardoor het mij lijkt dat als je disks dit ondersteunen, ze één voor één pas aangaan of is er meer nodig voor dit werkend te krijgen ?

[FireDrunk]

Een disk verbruikt niet 0,0 als hij in spindown mode zit, de print blijft namelijk wel actief. Dus 12 * ~0.5W mag je er nog af halen als standby power van de schijven. Basic systeem zal dus iets van 48W doen.

Maar dan rekenen we met 100% efficientie.

Drivers zijn overigens: 6*F4EG 2TB, 2*WD EADS 2TB, 4* Seagate 7200 RPM HDD.15 4TB
Voeding is een BeQuiet L7 300W.

Met alleen de 4 nieuwe 4TB schijven doet mijn server idle 45W

Ben best tevreden

[ Voor 29% gewijzigd door FireDrunk op 07-04-2013 14:30 ]

[Patatjemet]

Preview van mijn nieuwe m-atx server met zelfgemaakt rack voor 16 2.5" disks (de overige disks zitten in mijn huidige server en komen er dus later pas bij). Case is een Silverstone SG03. De bedoeling is om twee 8 disk arrays te maken (mbv 2 x m1015). Het heeft heel wat passen en meten gekost maar ik ben er vrij zeker van dat ik de rest van de hardware zonder al te veel problemen kan inbouwen.

Zoals je kunt zien heb ik speciaal voor deze case gekozen omdat de voorkant (met 2 x 12 cm fan) makkelijk uit te nemen is, zodat ik de 2.5" hd's zonder veel problemen kan (de-)monteren.





Ben momenteel nog aan het besluiten voor welke moederbord ik ga, de rest van de hardware is al in mijn bezit (2 x m1015, g620, 2 x 8 gb, 17 x 640 gb 2.5"). Ik ga proberen om het te draaien op een picoPSU 150 xt (die ik al heb), zo niet ga ik aan de g360.

[ Voor 18% gewijzigd door Patatjemet op 07-04-2013 16:43 ]

[Phuncz]

Coole setup, ik ben benieuwd ! Welke redenen heb je om massaal voor 2.5" disks te gaan ?

[ Voor 15% gewijzigd door Phuncz op 07-04-2013 17:01 ]

[Patatjemet]

Het is een beetje uit de hand gelopen voorkeur....oa minder warmte, geluid, ruimte en kleinere disks (dus korte resilvering van raid). Waar het eigenlijk mee begon is dat ik spindown via de m1015 niet aan de gang kreeg, waardoor 3.5" disks toch nog best veel energy gebruikten. Ook denk ik dat eigenlijk een disk beter 24/7 kan draaien.

Gelukkig heb ik de disks goedkoop tweede hands kunnen kopen .

[Wouter.S]

Patatjemet schreef op zondag 07 april 2013 @ 16:37:
Ben momenteel nog aan het besluiten voor welke moederbord ik ga, de rest van de hardware is al in mijn bezit (2 x m1015, g620, 2 x 8 gb, 17 x 640 gb 2.5"). Ik ga proberen om het te draaien op een picoPSU 150 xt (die ik al heb), zo niet ga ik aan de g360.

Waarschijnlijk heb je wel een speciale reden maar ik had dan toch eerder voor 4*4TB (gewoon 2 keer mirror) gegaan. Dan kon je twee m1015 achterwege laten (die verbruiken ook een hap...). Het is wel leuker om te zien natuurlijk deze build

Even rekenen:
17*25= €425 euro
2*m1015 = €200 (minimum)
Totaal €625
vs
4*165 (Hitachi 5K4000) = €660

[ Voor 8% gewijzigd door Wouter.S op 07-04-2013 17:13 ]

[Patatjemet]

Wouter.S schreef op zondag 07 april 2013 @ 17:10:
[...]

Waarschijnlijk heb je wel een speciale reden maar ik had dan toch eerder voor 4*4TB (gewoon 2 keer mirror) gegaan. Dan kon je twee m1015 achterwege laten (die verbruiken ook een hap...). Het is wel leuker om te zien natuurlijk deze build

Zoals hierboven gezegd, de kleinere capaciteit van de disks spreekt mij wel aan. Dit zorgt ervoor dat rebuilds vlot gaan en dat ik door veel disks te gebruiken relatief weinig aan parity inlever (niet dat mijn storage behoefte nou zo groot zijn..). Dit principe blijft in de toekomst ook behouden, aangezien 2.5" disks zullen blijven bestaan en ook in capaciteit zullen blijven groeien.

Door met 2 arrays te werken kan ik bij groeiende storage behoefte 1 array upgraden met grotere disks en de oude disks blijven inzetten als spare voor mijn andere array (in plaats van verkopen / of planken ivm voor non-zfs builds niet acceptabele smart waarden).

Het is absoluut waar dat er simpelere (en goedkopere) wegen naar min of meer hetzelfde resultaat zijn, maar ik probeer dan ook een ongebaand pad te bewandelen (hobby.. ).

Edit: zonder mijn eigen ruiten te willen ingooien, je vergeet bij je berekening de benodigde 8087->sata kabels en stroom splitters De m1015's heb ik wel voor veel minder kunnen bemachtigen dus je projectie van mijn uitgave zit denk ik wel in de juiste orde van grootte.

[ Voor 10% gewijzigd door Patatjemet op 07-04-2013 17:20 ]

[revox862]

FireDrunk schreef op zaterdag 06 april 2013 @ 00:15:
Beetje jammer van die 520 Als dat nou een 320 was geweest, was het bijna de perfecte ZFS build geweest

Ik ben bezig mijn vorige build uit te breiden met het volgende:
- Norco DS-24D,
- 14x Seagate 3TB (ST3000DM001),
- 2x Intel 320 80GB (SSDSA2CW080G310),
- 2x Crucial M4 128GB (CT128M4SSD2),
- 2x IBM M1015 in IT mode,
- Benodigde kabels.

Het wordt een pool van twee RAIDZ2 vdevs striped met twee spares. De Intels in mirror als ZIL en de Crucials als L2ARC.

[FireDrunk]

Mooie config! Watvoor moederbord/cpu komt er in?

[revox862]

FireDrunk schreef op zondag 07 april 2013 @ 17:29:
Mooie config! Watvoor moederbord/cpu komt er in?

Het is een uitbreiding op mijn bestaande configuratie en wordt aangesloten middels SFF-8088 bekabeling.

Moederbord Supermicro X9SCL+-F, CPU Intel Xeon E3-1230v1 en geheugen 2x Kingston KVR1333D3E9SK2/8G.

Daarnaast zit er al een IBM M1015 in, welke met de onboard SATA een RAIDZ2 van 10x WD Green 2TB (WD15EADS) aanstuurt.

Helaas heeft het moederbord maar twee PCIe x8 sloten en heb ik bovenstaande IBM M1015 in het PCIe x4 slot geplaatst. Na de migratie van de data bouw ik de WDs in een ander system voor off-site backup o.i.d.

[HyperBart]

Hele leuke config. Waarom kies je voor (hot?) spares? Of bedoel je dat je 2 disks in de kast legt als vervangertjes als het murphy even met de hamer langs komt?

Echt heel leuk bakje, doe je even wat uitgebreide benchmarks? Kunnen we allemaal wat meekwijlen

[revox862]

HyperBart schreef op zondag 07 april 2013 @ 20:38:
Hele leuke config. Waarom kies je voor (hot?) spares? Of bedoel je dat je 2 disks in de kast legt als vervangertjes als het murphy even met de hamer langs komt?

Echt heel leuk bakje, doe je even wat uitgebreide benchmarks? Kunnen we allemaal wat meekwijlen

Nee, ik bedoel hot spare. Op zich is het niet nodig, maar what the heck?

Ik ben zelf ook benieuwd naar de performance. Ik zal de results delen.

[HyperBart]

FireDrunk schreef op zondag 07 april 2013 @ 12:57:
Een disk verbruikt niet 0,0 als hij in spindown mode zit, de print blijft namelijk wel actief. Dus 12 * ~0.5W mag je er nog af halen als standby power van de schijven. Basic systeem zal dus iets van 48W doen.

Maar dan rekenen we met 100% efficientie.

Drivers zijn overigens: 6*F4EG 2TB, 2*WD EADS 2TB, 4* Seagate 7200 RPM HDD.15 4TB
Voeding is een BeQuiet L7 300W.

Met alleen de 4 nieuwe 4TB schijven doet mijn server idle 45W

Ben best tevreden

btw, naar aanleiding van jouw zuinigheidssprong hier ook eens even wat zitten spelen. Al mijn VM's waren toch down dus ik kon lekker wat disks handmatig downspinnen. Hieronder de resultaten

Alle disks down: 48W (met uitzondering van een oude 320GB SATA schijf die nog diende als ESXi datastore en die ik er nog niet uitgehaald heb.

SEAGATE:
Opgespinned: 3W (4W)
Opspinnend: 13W (14W)


HITACHI
Opgespinned: 5W (6W)
Opspinnend: 16W

Als alle disks zijn opgespinned, en er geen VM's draaien (buiten de NAS VM) verbruikt het bakje 90W, begin ik te schrijven naar de Hitachi's gaat mijn verbruik naar 110W gemiddeld.

Met andere woorden, door mijn configuratie wat aan te passen en bv. mijn VM's op een SSD te laten draaien, downloads rechtstreeks op mijn NAS via NFS te laten komen kan ik zomaar voor 90% van de tijd even mijn verbruik met 30W laten zakken.

Door dan ook nog eens de Seagates die als backuppool gaan dienen (ZFS mirror die vaak in degraded gaat draaien omdat één disk offsite ligt en die ik er af en toe eens terug insteek om te resilveren zodat ik de laatste versies heb) in spindown spaar ik ook nog eens 6 tot 8W uit. Dat is grofweg de helft van het totale verbruik wat ik er vanaf kan snoepen...

Voor de volledigheid nog even het systeem:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 Boxed	€ 216,98	€ 216,98
1	Supermicro X9SCA-F	€ 188,40	€ 188,40
5	Hitachi Deskstar 7K3000, 3TB	€ 251,40	€ 1.257,-
2	Seagate Barracuda Green ST32000542AS, 2TB	€ 0,-	€ 0,-
1	Antec New Solution VSK-2000-EC	€ 0,-	€ 0,-
2	3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M	€ 14,99	€ 29,98
2	Kingston KVR1333D3E9SK2/16G	€ 124,70	€ 249,40
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	be quiet! Pure Power L7 300W	€ 37,80	€ 37,80
1	Crucial m4 CT128M4SSD1 Slim 128GB	€ 104,95	€ 104,95
Bekijk collectie Importeer producten		Totaal	€ 2.203,09

[ Voor 3% gewijzigd door HyperBart op 08-04-2013 08:21 ]

[Neptunus]

HyperBart schreef op zondag 07 april 2013 @ 22:59:
[...]

Doe je ook iets met IBM ServeRAID M1015 en hdd's in spindown? Zoja kan je hierover iets vertellen? Her en der lees je dat hdd's in spindown niet wil met een M1015 in RT mode.

[FireDrunk]

Werkt prima, alleen niet met de standaard tooling, je moet de spindown utility installeren uit de ports tree.

[Delta1981]

FireDrunk schreef op zondag 07 april 2013 @ 23:08:
Werkt prima, alleen niet met de standaard tooling, je moet de spindown utility installeren uit de ports tree.

Bedoel je het spindown-0.3a programma?

Tot op heden heb ik het automatisch in spindown gaan van de schijven nog niet werkend gekregen.

[HyperBart]

Nou, instantieel vanuit de webinterface werkt het wel bij mij (just fyi)

[FireDrunk]

Dat komt omdat de webinterface van ZFSguru gewoon keihard het spindown commando stuurt via camctl.
De spindown utility doet dat als service.

http://www.freshports.org/sysutils/spindown/

[ Voor 14% gewijzigd door FireDrunk op 08-04-2013 10:46 ]

[Neptunus]

FireDrunk schreef op maandag 08 april 2013 @ 10:46:
Dat komt omdat de webinterface van ZFSguru gewoon keihard het spindown commando stuurt via camctl.
De spindown utility doet dat als service.

http://www.freshports.org/sysutils/spindown/

Gaat dit ook werken voor nas4free?

[Verwijderd]

Afhankelijk van je controller en virtualisatie kun je ook camcontrol standby <disk> -t <seconden> gebruiken. Dus:

# spindown disk ada0 after 600 seconds of inactivity
camcontrol standby ada0 -t 600

Met de spindown port heb ik nog geen ervaring. Is dat een daemon die continu actief blijft? Dat heb je mogelijk alleen nodig als camcontrol niet werkt (doordat je ESXi/RDM ofzoiets gebruikt).

[FireDrunk]

Het camcontrol commando stuurt een standby commando, en vertelt eventueel dat een disk in standby moet gaan als hij zelf niet aangesproken is. Als disks dat niet ondersteunen (of de controller houdt dat commando tegen). Moet je dus steeds zelf standby commando's blijven sturen.

Dat doet spindown, die monitored of er activiteit was op een disk, en anders zet hij hem in standby.
En ja, dat is een daemon.

[ Voor 3% gewijzigd door FireDrunk op 08-04-2013 13:13 ]

[RudolfR]

Verwijderd schreef op maandag 08 april 2013 @ 12:00:
Dat heb je mogelijk alleen nodig als camcontrol niet werkt (doordat je ESXi/RDM ofzoiets gebruikt).

Is dat een bekende beperking van ESXi/RDM? Dat camcontrol niet werkt?
Ik heb daar wel last van, maar ik kan er weinig over vinden.

[Phuncz]

Phuncz schreef op zondag 07 april 2013 @ 12:35:
Er is wel iets dat me boeit en dat is namelijk staggered spin-up: dit is omschreven in de SATA-power specs, waardoor het mij lijkt dat als je disks dit ondersteunen, ze één voor één pas aangaan of is er meer nodig voor dit werkend te krijgen ?

Heeft iemand hier nog informatie over ?

[DYX]

Phuncz schreef op maandag 08 april 2013 @ 17:45:
[...]

Heeft iemand hier nog informatie over ?

Ik heb het vermoeden dat dit meer een functie van de controller dan de disk zelf (moet natuurlijk wel spindown ondersteunen). Ik weet niet of de IBM M1015 het ondersteund, maar weet uit ervaring dat dit goed werkt met de Acreca 1222 en de Acreca 1882-24

[FireDrunk]

Ja hoor, de M1015 kan staggered spinup doen. In mijn hotswap trays ging dat wel goed.
Ik geloof dat er op sata poorten een zogenoemde PIN7 zit, die aangeeft of de drive moet opspinnen bij poweron. Veel hotswap bays hebben die pin default uit, voedingen default aan.

[JomiVerwimp]

Is er iemand die een oplossing weet indien je deze melding krijgt wanneer je in EFI shell een M1015 wilt flashen?

code:

InitShellApp: application not started from Shell

Via dos krijg ik steeds 'Failed to initialize PAL'. Iemand raad? Moederbord is trouwens een ASRock B75 Pro3-M.

Alvast bedankt!

[ Voor 3% gewijzigd door JomiVerwimp op 08-04-2013 21:32 . Reden: Typo ]

[jacovn]

Werkt spindown ook goed met IBM M1015 kaart ?

[FireDrunk]

JomiVerwimp schreef op maandag 08 april 2013 @ 21:32:
Is er iemand die een oplossing weet indien je deze melding krijgt wanneer je in EFI shell een M1015 wilt flashen?

code:

InitShellApp: application not started from Shell

Via dos krijg ik steeds 'Failed to initialize PAL'. Iemand raad? Moederbord is trouwens een ASRock B75 Pro3-M.

Alvast bedankt!

Dit betekend vaak dat je moederbord gewoon niet geschikt is om mee te flashen.. Heeft geloof ik te maken met het direct willen addresseren van PCIe addressen ofzo, op HardForum of ServeTheHome hadden ze het daar ook over.

Basically betekend het gewoon dat je een ander bord moet pakken. (Om te flashen dan...)

@Jacovn, Staat letterlijk 12 posts terug...

[ Voor 92% gewijzigd door FireDrunk op 08-04-2013 21:46 ]

[Delta1981]

FireDrunk schreef op maandag 08 april 2013 @ 10:46:
Dat komt omdat de webinterface van ZFSguru gewoon keihard het spindown commando stuurt via camctl.
De spindown utility doet dat als service.

http://www.freshports.org/sysutils/spindown/

@ FireDrunk:
Vanavond de spindown tool gedownload en geinstalleerd, na eenmaal handmatig gestart en ingesteld werkt dit prima. Hoe kun je nu het beste deze tool automatisch laten starten met de juiste instellingen bij het opstarten?

Ik kan de service wel toevoegen aan rc.conf, maar hoe kun je dan de juiste instellingen opgeven?

[FireDrunk]

/etc/rc.conf

spindown_enable="YES"
spindown_flags="-b -i 300 -t 300 -d da0 -d da1 -t 300 -d da2 -t 300 -d da3"

[ Voor 15% gewijzigd door FireDrunk op 08-04-2013 23:44 ]

[Delta1981]

FireDrunk schreef op maandag 08 april 2013 @ 23:28:
/etc/rc.conf

spindown_enable="YES"
spindown_flags="-b -i 300 -t 300 -d da0 -d da1 -t 300 -d da2 -t 300 -d da3"

Top, bedankt Dit ga ik vanavond uitproberen.

[FireSonus]

Geen idee of ik hier goed zit, zo niet dan hoor ik het graag.

Op dit moment zit ik een beetje krap in mijn opslagruimte, ik zou dus graag een server/NAS willen samenstellen. Ik heb wel wat ervaring met PC's bouwen, echter ben ik alweer een tijdje uit de roulatie in dit (leuke) wereldje . Heb het topic geprobeerd door te lezen maar het gaat soms wel erg diep de materie in .

Ik heb (natuurlijk) wat eisen:
- Niet te groot (dus liefst gebaseerd op mini itx), case dus ook niet te groot
- Toch ruimte voor genoeg schijven, denk op dit moment aan twee schijven, maar moet zeker uitbreidbaar zijn.
- Moet ook dienen als "downloadcenter" (m.b.v. sickbeard, couchpotato en sabnzbd) en rechtstreeks kunnen streamen naar mijn (op dit moment een vervelende "WD live") mediaspeler, die op zijn beurt weer gekoppeld is aan de TV.

Nog even de situatie op dit moment:
Op dit moment worden al mijn series/downloads binnengehaald via sickbeard/couchpotato of handmatig op mijn Macbook Pro, waarna ik ze zelf handmatig overzet naar een WD My Book World Edition 1TB netwerk hardeschijf. Sinds ik sickbeard heb gaat het echter wel erg hard met de opslagruimte, vandaar dus de vraag naar een betere manier van opslag, inlusief de mogelijkheid om zelfstandig te kunnen downloaden.

Ik heb zelf al wat uitgezocht en dat is het volgende:

Deze case lijkt mij echt op het lijf geschreven:
Fractal Design Node 304, ziet er mooi uit, redelijk te betalen en genoeg ruimte voor opslag voor mij.

Uit deze review merk ik op dat een op AMD gebaseerd systeempje goed moet draaien, elders ook gelezen dat AMD iets beter is qua power consumptie? In dat geval dit moederbord gevonden.

Vanaf daar loop ik een beetje vast. Deze vragen spelen door mijn hoofd:
- Is het moederbord overkill/juist geen overkill?
- Welke processor zou ik hier op moeten zetten? Ook hier weer wat is overkill en wat niet?
- Moet er nog een aparte videokaart in?
- Geheugen is goed te betalen tegenwoordig, 4gb doen?
- Harde schijven, ik ben nogal fan van WD (niet van hun mediaspelers maar wel de schijven ), deze schijven worden op veel plaatsen aangeraden, zit ik daarmee goed?
- RAID opstelling, dat is echt helemaal nieuw voor mij, moet ik daar al rekening mee houden bij mijn aankoop (specifiek dan in het aantal schijven)?

Ook qua besturingssysteem ben ik er nog niet helemaal uit, heb wel wat ervaring met Linux, maar ik zie zelf eigenlijk niet waarom Windows niet geschikt zou zijn, behalve dan dat ik daar voor moet betalen natuurlijk. Ook daar graag enig advies in.

Max. budget? liefst 300 euro, met uitloop naar 400. Mocht dat echt niet lukken en er is een goede reden voor dan gaan we maar een keertje minder uit eten .

Veel vragen, ik weet het, maar zoals gezegd, ik ben er al een tijdje niet meer mee bezig geweest .

Alvast bedankt!

[Verwijderd]

Ik raad aan:

1) ZFS

2) Dit geheugen: pricewatch: Crucial Ballistix Sport BLS2C8G3D1609ES2LX0CEU

3) Dit moederbord: pricewatch: ASRock FM2A85X-ITX (8 keer SATA/600; yumyum)

4) CPU kiezen tussen dualcore of quadcore; AMD is wat zwakjes op CPU gebied. De GPU heb je weinig aan. Je kunt overwegen de 65W TDP versie te nemen en een passieve koeler te gebruiken, als je graag extra stilte wilt. Waarschijnlijk wat overdreven, omdat je NAS vooral idle draait.

Check operating systems die SAB enzo kunnen draaien en ook ZFS. ZFSguru is hier één van. Maar wellicht kun je dit op meer platforms werkend krijgen. Dan heb je veilige opslag + alle softwaremeuk lekker op één systeem geoffload. Je desktop blijft dan vrij.

Succes!

[HyperBart]

Geheugen: zoveel mogelijk, 8GB minimaal
Disks: hoeveel TB aan opslag wil je? 300 EUR voor de NAS is prima te doen...

AMD loopt achter qua zuinigheid, aan de andere kant is er wel maar één moederbord in ITX formaat wat 8 SATA poorten heeft, en dat is dat wat CiPHER hierboven naar refereert. Maar dat vind ik ook zo zonde om te doen, want je case ondersteunt maar 6 x 3,5. Dus in die optiek zou je gewoon kunnen zeggen: "ok, dan ga ik voor Intel en neem ik een zuiniger platform dan AMD"...

Welke disks ga je er in steken? Afhankelijk daarvan is het aantal spindles dat je in een RAIDZ(2) zet wel belangrijk... (tenzij je met 4K sector optimalisatie werkt)


Hmmm FUUUUUU:
http://tweakers.net/categ...bUMGCqBNMpddYf_20PjEat9Qc

In mini ITX form factor is de keuze in moederbordjes met +4 SATA poorten beperkt tot:
6: pricewatch: ASRock FM2A85X-ITX
6: pricewatch: Asus C60M1-I
6: pricewatch: Zotac M880G-ITX WiFi
5: pricewatch: Asus AMD CPU on Board E45M1-I DELUXE
5: pricewatch: Asus E2KM1-I Deluxe

Met andere woorden: je bent veroordeeld tot het ASRock moederbordje wat CiPHER voorstelde, of je bent veroordeeld tot een moederbordje waar je nog een M1015 HBA (of equivalent) kan in bijprikken om dan zo genoeg disks aan te sturen... Maar dan mag je moederbord nog zo zuinig zijn (van bv. Intel), je gaat absoluut gezien nooit minder kunnen verbruiken dan alleen een moederbord + CPU van AMD *denk* ik.

Mux?

[ Voor 53% gewijzigd door HyperBart op 09-04-2013 12:57 ]

[Verwijderd]

6x 3,5" is toch mooi voor 6 disks in RAID-Z2? Dan heb je nog één of twee poorten over voor een SSD, daar hoef je geen plek voor te hebben die kun je met wat tape vastplakken in de kast. Bovendien is één van de 8 poorten via eSATA dus als je 7 poorten zou gebruiken zou dat opzich wel ideaal zijn.

Ik vind ook dat 'AMD is minder zuinig' erg kort door de bocht is. Is er iets specifieks waar je naar refereert? Ik vermoed dat een kaal AMD setje van deze strekking gewoon rond de 10W idle zou doen (superkaal) net als Intel. Socket FM2 heb ik het dan over, want die heeft enkel een southbridge-chipset. De 990FX chipset is wel ouderwets en minder zuinig.

Enig nadeel van AMD is de zwakke CPU performance, maar opzich hoeft dat niet zo'n probleem te zijn. ZFS en andere zaken zijn ook prima multithreaded, dus een zwakke quadcore betekent nog steeds veel CPU-kracht. Wat mij betreft kan dit echt wel een leuk ZFS systeempje worden. Natuurlijk jammer als hij niet voor ZFS gaat.

Qua schijven zou ik ook denken aan 3TB. Bijvoorbeeld misschien met twee keer 3TB beginnen in een mirror. Zou hij later 4 schijven bijkopen, kan hij een RAID-Z2 van 6 disks maken. Dit kan zonder gegevens te verliezen. Je kunt die 6-disk RAID-Z2 aanmaken met slechts 4 schijven (double degraded) en dan de gegevens overkopiëren, daarna de twee disks die in mirror draaien aan de RAID-Z2 geven.

[ Voor 4% gewijzigd door Verwijderd op 09-04-2013 13:01 ]

[HyperBart]

Jonguh ik zeg toch dat je gelijk hebt

Verwijderd schreef op dinsdag 09 april 2013 @ 12:59:
Ik vind ook dat 'AMD is minder zuinig' erg kort door de bocht is. Is er iets specifieks waar je naar refereert? Ik vermoed dat een kaal AMD setje van deze strekking gewoon rond de 10W idle zou doen (superkaal) net als Intel. Socket FM2 heb ik het dan over, want die heeft enkel een southbridge-chipset. De 990FX chipset is wel ouderwets en minder zuinig.

Neuh, niet specifiek, gewoon de algemen tendens en wetenschap hier een beetje. Uiteraard is het allemaal wat Watt-neuken dat we nu aan het doen zijn, maar wat ik van mux en FireDrunk altijd begrepen had is dat niets in de buurt komt van de zuinigheid van Intel...

Enig nadeel van AMD is de zwakke CPU performance, maar opzich hoeft dat niet zo'n probleem te zijn. ZFS en andere zaken zijn ook prima multithreaded, dus een zwakke quadcore betekent nog steeds veel CPU-kracht. Wat mij betreft kan dit echt wel een leuk ZFS systeempje worden. Natuurlijk jammer als hij niet voor ZFS gaat.

Definieer zwak eens, à la Atom-zwak of i3 vergelijkbaar? Als het dat laatste is is het wel zat genoeg lijkt mij . Ben het met je eens dat het best een heel mooi en high density systeempje kan worden. Het verbaasde me eerlijk gezegd dat er zo weinig mini ITX bordjes op basis van Intel-chipsets zijn met +4 SATA aansluitingen.

---

6x 3,5" is toch mooi voor 6 disks in RAID-Z2? Dan heb je nog één of twee poorten over voor een SSD, daar hoef je geen plek voor te hebben die kun je met wat tape vastplakken in de kast. Bovendien is één van de 8 poorten via eSATA dus als je 7 poorten zou gebruiken zou dat opzich wel ideaal zijn.

Dacht ik ook net. 6 is prima .

Qua schijven zou ik ook denken aan 3TB. Bijvoorbeeld misschien met twee keer 3TB beginnen in een mirror. Zou hij later 4 schijven bijkopen, kan hij een RAID-Z2 van 6 disks maken. Dit kan zonder gegevens te verliezen. Je kunt die 6-disk RAID-Z2 aanmaken met slechts 4 schijven (double degraded) en dan de gegevens overkopiëren, daarna de twee disks die in mirror draaien aan de RAID-Z2 geven.

@FireSonus: verbruiksgewijs (Watt/GB) is 4TB op dit moment *de* keuze, kostengewijs vind ik dat we nog steeds op een shifting point zitten tussen 3TB of 4TB. 3TB komt er nog net voordeliger uit in EUR/GB maar 4TB zit er net achter, maar als je de kost per SATA poort er bij neemt en het verbruik dan is 4TB de grote winnaar...

http://tweakers.net/categ...Uz7Wvs7DPI7bFntznk8c2vtAw

Als ik jou was zou ik voor 5 of 6 x 4TB gaan. Als het een te grote investering is op dit moment dan zou ik de tactiek van CiPHER volgen: 2 x 4TB in mirror en hou dan je huidige disks waar je data nu op staat en leg die aan de kant als "oude backup". Als de tijd dan rijp is koop je gewoon 4 x 4TB en zet je die in RAIDZ2 degraded (=met 2 missing disks dus), daarna kopieer je al je data, vervolgens hang je één van de oude 4TB's bij in de RAIDZ2, dan doe je een resilver, wacht je even dat je zeker bent dat je RAIDZ2 goed draait en daarna hang je de laatste oude 4TB erbij en doe je weer een resilver.

Oh ja, vergeet vooral niet dat ZFS zo leuk is in RAIDZ(2) omdat je geen schijven van hetzelfde type moet gebruiken. Als later Hitachi of WD goedkopere 4TB disks heeft neem je die gewoon erbij ipv je originele 4TB Seagates. Een heterogene vdev is niet zo erg bij ZFS als bij traditionele RAID.

[FireDrunk]

Tja, ik geloof dat deze discussie al 100 keer gevoerd is on Het Zuinige Server topic, maar ja, nog maar eens dan... Mux houdt een database bij van zuinige systemen. Hij heeft er intussen 26 in staan, van 4W tot 26W en geen van die systemen is een AMD systeem... Daar komt bij dat Intel zonder drivers veel zuiniger is dan AMD zonder drivers... Onder Windows zal het inderdaad misschien weinig schelen, maar juist onder FreeBSD verwacht ik veel slechtere getallen.

http://www.silentpcreview...-a10-5700/power-total.gif

Die AMD quadcores zijn leuk, maar geven echt geen performance boost ten opzichte van een i3-2100.
Dus zowel in idle verbruik, ruwe performance, performance per watt en performance per watt per $, is AMD niet substantieel beter.

Enige reden om voor AMD te kiezen kan zijn dat je echt geen geld hebt om te spenderen... Maar kom op, een G1610 is in alle opzichten snel genoeg en kost geen drol...

Bronnen:
http://efficientelectroni...wer-consumption-database/

33W:
http://www.kitguru.net/co...md-a4-3400-apu-review/19/

36W:
http://www.vortez.net/art...gabyte_ga_a55m_ds2,6.html

70W idle / 115W piek:
http://nl.hardware.info/r...uik---cinebench-115--idle

Maar harware.info zijn een stelletje prutsers als het gaat om stroom meten, maar het gaat om de vergelijking

35W:
http://www.techzine.nl/re...llano-prestaties-2-a.html

40W:
http://www.guru3d.com/art...a6_3650_apu_review,9.html

[ Voor 26% gewijzigd door FireDrunk op 09-04-2013 13:28 ]

[HyperBart]

En welk moederbordje neemt hij dan best (in acht genomen dat ie op termijn een M1015 er bij gaat moeten steken):

Mini ITX moederborden

[ Voor 4% gewijzigd door HyperBart op 09-04-2013 13:26 ]

[Verwijderd]

Dit H77 Mini-ITX bordje heeft wel 6 SATA (2x SATA/600, 4x SATA/300):
pricewatch: Asus P8-H77-I

Dat ASrock bordje is wel heel gaaf met Mini-ITX + 8 keer SATA (waarvan één eSATA). Dat is erg uniek.

Qua AMD vs Intel performance, de cores van AMD zijn grofweg de helft zo snel als van Intel op gelijke clock; nouja net iets minder erg. Maar een AMD quadcore kun je vergelijken met een Intel dualcore (i3) denk ik. De AMD 5700 quadcore chip met 65W TDP vind ik zelf wel een mooie chip. Enigszins betaalbaar ook nog. Alleen jammer dat er veel aandacht uitgaat naar de goede IGP. Daar heb je niet zoveel aan. Maarja boeie.

Een heterogene vdev is niet zo erg bij ZFS als bij traditionele RAID.

Dat is eigenlijk juist andersom.
RAID5 kan een I/O request door één disk laten uitvoeren, waarbij de overige disks klaarstaan om andere I/O opdrachten uit te voeren. Bij RAID-Z gaat per definitie alle I/O uitgesmeerd worden over alle schijven. Dat is ook de reden dat een RAID-Z de random read performance heeft van een enkele disk. Zelfs net iets langzamer, omdat de ene disk de andere kan afremmen. Dat is ook de reden dat je het beste gelijke disks kunt nemen. Maar of je het gaat merken met WD + Hitachi schijven door elkaar van gelijke klasse (gelijke rpm, gelijke plattercapaciteit) waag ik te betwijfelen. Maar het kan zeker meetbaar zijn. De firmwareverschillen zullen daarbij denk ik de grootste factor vormen. Dit kan namelijk wisselende latencies opleveren wat voor RAID-Z dus betekent dat de disk met de hoogste latency de prestaties voor alle disks bepaalt. En dat kan per keer fluctueren (dan weer Hitachi als laatste over de streep, dan weer WD). Maar ik zou hier niet zo heel druk om maken.

4TB schijven ben ik iets minder van gecharmeerd. Ze verbruiken meer, maar de W per TB-verhouding blijft ongeveer gelijk of zelfs iets lager - inderdaad. Maar het nadeel is dat de schijven 4 platters hebben, en dat is wel veel. Ik zelf vind dat schijven met 3 platters de praktische maximum zijn. Hoe minder hoe beter en in theorie ook betrouwbaarder. Dat zou betekenen dat er 1333GB platters nodig zijn om een 'echte' 4TB schijf te maken die uit drie platters bestaat. Zo is dat ook met de 2TB modellen gegaan.

Bedenk dat een schijf die 4W verbruikt ook invloed heeft op de temperatuur. Ga je naar 6W dan moet je ze misschien actief koelen afhankelijk van de mogelijkheden tot warmtedissipatie in je kast. Mijn voorkeur ligt dus op de WD 3TB schijven. Vervelend is wel dat WD dezelfde typenummers hanteert voor de schijven met 1TB platters en die met 750GB platters (waarvan dus 666GB gebruikt).

Zie ook de platter capacity database: http://rml527.blogspot.nl...tern-digital-35_1109.html
(deze stelt dat enkel de 2TB WD EZRX modellen in 750/1000GB platters komen; de 3TB zou altijd 1000GB platters hebben; dit kan ik niet bevestigen).

[Marcoos]

Ik heb zelf al het een en andere uitgezocht qua SSDs voor een ZFS oplossing in eerste instantie ging ik van de BBG uit door een 320 van Intel te bestellen, helaas is deze niet meer leverbaar bij de leverancier waar ik besteld heb, nu vroeg ik me af welke SSD een goed alternatief biedt?

Aangezien de 320 super condensators heeft zoek ik iets gelijks, alleen heb ik geen idee hoe ik dit kan terug vinden?

[HyperBart]

Verwijderd schreef op dinsdag 09 april 2013 @ 13:29:
Dit H77 Mini-ITX bordje heeft wel 6 SATA (2x SATA/600, 4x SATA/300):
pricewatch: Asus P8-H77-I

Dat ASrock bordje is wel heel gaaf met Mini-ITX + 8 keer SATA (waarvan één eSATA). Dat is erg uniek.

OK, maar als ik dan moet kiezen voor Intel of AMD na FireDrunk zijn feedback, dan is de keuze sehr schnell gemaakt voor mij.

Zeker als hij in eerste instantie opteert voor 2 x 3 of 4TB in mirror en naar de toekomst pas voor meerdere spindles met een M1015 wil gaan... Dan heeft ie toch geen nood aan de 7 tot 8 onboard SATA poorten...

Qua AMD vs Intel performance, de cores van AMD zijn grofweg de helft zo snel als van Intel op gelijke clock; nouja net iets minder erg. Maar een AMD quadcore kun je vergelijken met een Intel dualcore (i3) denk ik. De AMD 5700 quadcore chip met 65W TDP vind ik zelf wel een mooie chip. Enigszins betaalbaar ook nog. Alleen jammer dat er veel aandacht uitgaat naar de goede IGP. Daar heb je niet zoveel aan. Maarja boeie.

Ik zou zeggen, make your pick:

pricewatch: Asrock H61M-ITX
pricewatch: Asus P8H61-I
pricewatch: MSI B75IA-E33
pricewatch: Asrock B75M-ITX

Ik *dacht* dat MSI iets kwalitatiever was in het algemeen dan ASRock en dat Asus net nog iets onzuiniger was dan MSI ook... Maar dat laat ik in het midden.

Als we dan even gaan samenstellen:

#	Product	Prijs	Subtotaal
1	Intel Pentium G2020 Boxed	€ 51,45	€ 51,45
1	MSI B75IA-E33	€ 73,18	€ 73,18
1	Corsair CMV8GX3M1A1333C9	€ 46,01	€ 46,01
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 360Watt	€ 61,99	€ 61,99
Bekijk collectie Importeer producten		Totaal	€ 351,21

Prima binnen budget en toch een leuk beestje

[FireDrunk]

Marcoos schreef op dinsdag 09 april 2013 @ 14:49:
Ik heb zelf al het een en andere uitgezocht qua SSDs voor een ZFS oplossing in eerste instantie ging ik van de BBG uit door een 320 van Intel te bestellen, helaas is deze niet meer leverbaar bij de leverancier waar ik besteld heb, nu vroeg ik me af welke SSD een goed alternatief biedt?

Aangezien de 320 super condensators heeft zoek ik iets gelijks, alleen heb ik geen idee hoe ik dit kan terug vinden?

Alleen de 320, M500 en een handjevol enterprise SSD's hebben die feature. Best jammer dus.

[FireSonus]

HyperBart schreef op dinsdag 09 april 2013 @ 14:50:
[...]

OK, maar als ik dan moet kiezen voor Intel of AMD na FireDrunk zijn feedback, dan is de keuze sehr schnell gemaakt voor mij.

Zeker als hij in eerste instantie opteert voor 2 x 3 of 4TB in mirror en naar de toekomst pas voor meerdere spindles met een M1015 wil gaan...


[...]


Ik zou zeggen, make your pick:

pricewatch: Asrock H61M-ITX
pricewatch: Asus P8H61-I
pricewatch: MSI B75IA-E33
pricewatch: Asrock B75M-ITX

Ik *dacht* dat MSI iets kwalitatiever was in het algemeen dan ASRock en dat Asus net nog iets onzuiniger was dan MSI ook... Maar dat laat ik in het midden.

Als we dan even gaan samenstellen:

#	Product	Prijs	Subtotaal
1	Intel Pentium G2020 Boxed	€ 51,45	€ 51,45
1	MSI B75IA-E33	€ 73,18	€ 73,18
1	Corsair CMV8GX3M1A1333C9	€ 46,01	€ 46,01
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 360Watt	€ 61,99	€ 61,99
Bekijk collectie Importeer producten		Totaal	€ 351,21

Prima binnen budget en toch een leuk beestje

Thanks iedereen dat jullie zo uitgebreid reageren, erg nuttig! .Ik wil even ingaan op bovenstaande quote, aangezien die concreet weergeeft wat ik nodig heb.

Ik begrijp inderdaad uit de reacties dat ik juist toch beter een Intel kan nemen, ben ik alleen maar blij mee, ik ben namelijk fan van Intel, ik dacht echter ergens te hebben gelezen dat het een no go is in een NAS. Maar zo leren we nog eens wat! .

Nu zie ik jou configuratie en begrijp ik ieder onderdeel daarin, maar (noob question alert) waar heb ik die "IBM ServeRAID M1015 SAS/SATA Controller for System x" voor nodig?

In dit bedrag zit namelijk ook nog geen case en schijven en dan gaan we al snel richting de 600 euro....

[FireDrunk]

Die M1015 is een Host Bus Adapter waarmee je nog 8 schijven kan aansluiten.
Niet nodig als je < 6 schijven gebruikt (en/of SSD's), maar wel nodig als je dus niet meer genoeg hebt aan je onboard aansluitingen.

[HyperBart]

Oooooooh, ik had begrepen dat je die case al had staan en dat je daarom zo gebrand was op mini ITX!

@FD: hij heeft nu wel maar 4 SATA aansluitingen, dus hij botst al redelijk snel tegen de limiet aan als hij wat disks wil voorzien.

[FireSonus]

Nee, de reden dat ik gebrand ben op mini ITX is omdat dit naar mijn weten hét moederbord is voor die case....heb ik dat ook al niet goed?

[HyperBart]

Mja, dat klopt... Maar antwoord eens even: hoeveel capaciteit heb je nu nodig? Want anders kan je die M1015 voorlopig even laten vallen...

Als je bv genoeg hebt aan 8TB netto zou je kunnen kiezen voor 3 x 4TB, dan heb je nog 1 SATA poort over als je een SSD er aan wilt hangen of de mogelijkheid om een extra diskje er aan te hangen om ZFSguru op te installeren (wat me redelijk nutteloos lijkt, dan steek je er beter een SSD in en gebruik je die ook als ZIL + L2ARC). Dan zou je met onderstaande prima moeten toekomen

#	Product	Prijs	Subtotaal
1	Intel Pentium G2020 Boxed	€ 51,45	€ 51,45
1	MSI B75IA-E33	€ 73,18	€ 73,18
1	Fractal Design Node 304	€ 74,60	€ 74,60
1	Corsair CMV8GX3M1A1333C9	€ 46,01	€ 46,01
1	Seasonic G-Serie 360Watt	€ 61,99	€ 61,99
Bekijk collectie Importeer producten		Totaal	€ 307,23

Lekker zeg, perfect binnen budget .

Met de disks krijg je dan:

#	Product	Prijs	Subtotaal
1	Intel Pentium G2020 Boxed	€ 51,45	€ 51,45
1	MSI B75IA-E33	€ 73,18	€ 73,18
3	Seagate Barracuda HDD.15, 4TB	€ 158,90	€ 476,70
1	Fractal Design Node 304	€ 74,60	€ 74,60
1	Corsair CMV8GX3M1A1333C9	€ 46,01	€ 46,01
1	Seasonic G-Serie 360Watt	€ 61,99	€ 61,99
Bekijk collectie Importeer producten		Totaal	€ 783,93

Met een Samsung 840 Pro (wat ik eigenlijk ECHT wel zou doen):

#	Product	Prijs	Subtotaal
1	Intel Pentium G2020 Boxed	€ 51,45	€ 51,45
1	MSI B75IA-E33	€ 73,18	€ 73,18
3	Seagate Barracuda HDD.15, 4TB	€ 158,90	€ 476,70
1	Fractal Design Node 304	€ 74,60	€ 74,60
1	Corsair CMV8GX3M1A1333C9	€ 46,01	€ 46,01
1	Seasonic G-Serie 360Watt	€ 61,99	€ 61,99
1	Samsung 840 series Pro 128GB	€ 114,95	€ 114,95
Bekijk collectie Importeer producten		Totaal	€ 898,88

Kijk eens aan . Nu heb je een nicely packed NAS met een SSD, mogelijkheid om je disks in spindown te laten gaan, klein Ubuntu VM'tje er op, via NFS een share mounten en daar je downloads op terecht laten komen en gaan maar! Je kan ook opteren voor een kleinere SSD als je echt tight on budget zit, maar ik vind het zonde om 3 disks te laten spinnen als het ook zuiniger kan (en vooral performanter, want ZFS heeft wel voordeel bij een SSD als ZIL en L2ARC)...

[ Voor 171% gewijzigd door HyperBart op 09-04-2013 16:05 ]