Het grote DIY RAID NAS topic deel 3

[Jormungandr]

Zozo de verhuis naar Norco heeft zo zijn nadelen.

- de "standaard" 50cm SFF8087-8087 kabel is te kort bevonden na wat meten. Gelukkig kom ik daar achter VOOR ik op bestellen drukte.
- De RPC2208 pakt geen ATX voeding (helemaal vergeten) dus kan ik beginnen zoeken naar een 2U voeding. Een TFX zou dimensiegewijs wel moeten passen, maar de BeQuiet 300W is nogal krap. De meeste 2U voedingen kosten waanzinning veel geld.
- 2U betekent: laag. Gelukkig past een standaard AM2 koeler er net in. De SAS kabel daarentegen moet dan weer een angled zijn om op de IBM M1015 te passen.

Rackmountable is fun, they said .

[soulrider]

webfreakz.nl schreef op zondag 15 april 2012 @ 19:04:
[...]

SuperMicro heeft ook cases waarmee je 72 - 88 schijven kan bergen: http://www.supermicro.nl/products/chassis/4U/?chs=417

SGI MIS Server delivers industry-leading density by packaging up to two motherboards together with up to 72 3.5" SAS or SATA drives or 144 2.5" SAS or SSD drives within a single 4U, chassis.

vs

The SC417 chassis features extremely high storage density with maximum of 88x (JBOD chassis) / 72x (server chassis) 2.5" hot-swap drives per enclosure.

72 schijven van 3,5" in 4u (of 144x 2,5") bij SGI tegenover 72 schijven van 2,5" in 4u bij SuperMicro
Dat is 288TB (72x4TB) vs 72TB (72x1TB)
Voor een Nas kan het verschil wel tellen ;-)

[FabiandJ]

Ik gebruik hier mdadm en nu wil ik mijn array vergroten van 5 disks naar 6.
En dit heb ik gedaan:

code:

mdadm --grow /dev/md0 --raid-devices=6

Hierop krijg ik dit terug:

code:

mdadm: Need to backup 6144K of critical section..

En nu wil ik krijg zien wat de status is van mdadm, maar hij reageert op de volgende twee commando's helemaal niet:

code:

cat /proc/mdstat
mdadm --detail /dev/md0

Beide methodes geven niks/blijven hangen.

Als ik dan kijk met het commando pc x, zie ik deze regel er tussen staan:

code:

12070 pts/0    SL     0:00 mdadm --grow /dev/md0 --raid-devices=6

En kijk ik met "top" gebeurt er niks. Iemand een tip wat ik nu het beste kan doen?

[FireDrunk]

Hmm, die critical section backup is wel even belangrijk inderdaad. Raar dat hij blijft hangen. Heb je netjes je array onbelast gelaten, en eventueel geunmount?

[DJ-Promo]

Is je nieuwe schijf net zo groot?

[FabiandJ]

FireDrunk schreef op maandag 16 april 2012 @ 07:28:
Hmm, die critical section backup is wel even belangrijk inderdaad. Raar dat hij blijft hangen. Heb je netjes je array onbelast gelaten, en eventueel geunmount?

Mijn array was nog gemount.

DJ-Promo schreef op maandag 16 april 2012 @ 07:59:
Is je nieuwe schijf net zo groot?

Ja

[FireDrunk]

Hij bedoeld misschien: Heeft de nieuwe schijf exact evenveel(of meer) sectoren / ruimte? (tot in de byte precies)

[FabiandJ]

FireDrunk schreef op maandag 16 april 2012 @ 11:47:
Hij bedoeld misschien: Heeft de nieuwe schijf exact evenveel(of meer) sectoren / ruimte? (tot in de byte precies)

Ja hij is precies hetzelfde.

[FireDrunk]

Vreemd... Nog steeds geen enkel progress of CPU usage door het proces?

[FabiandJ]

FireDrunk schreef op maandag 16 april 2012 @ 11:50:
Vreemd... Nog steeds geen enkel progress of CPU usage door het proces?

Nope helemaal niks nada nopes.

[FireDrunk]

Backup je (belangrijke) data en reboot geven. En duimen...

[FabiandJ]

Reboot gedaan:

code:

 mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Tue Apr 10 15:30:14 2012
     Raid Level : raid6
     Array Size : 5860535808 (5589.04 GiB 6001.19 GB)
  Used Dev Size : 1953511936 (1863.01 GiB 2000.40 GB)
   Raid Devices : 6
  Total Devices : 6
    Persistence : Superblock is persistent

    Update Time : Mon Apr 16 12:06:01 2012
          State : active, reshaping
 Active Devices : 6
Working Devices : 6
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

 Reshape Status : 0% complete
  Delta Devices : 1, (5->6)

           Name : GTR:0  (local to host GTR)
           UUID : 2ec6f8b3:b80439ed:5dc8901c:7767cafc
         Events : 6575

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       5       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1
       4       8       81        4      active sync   /dev/sdf1
       6       8       97        5      active sync   /dev/sdg1

code:

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sdc1[5] sde1[3] sdb1[0] sdf1[4] sdd1[2] sdg1[6]
      5860535808 blocks super 1.2 level 6, 512k chunk, algorithm 2 [6/6] [UUUUUU]
      [>....................]  reshape =  0.6% (13379312/1953511936) finish=798.0min speed=40517K/sec

unused devices: <none>

[FireDrunk]

Dat ziet er prima uit!

[Midas.e]

Goed geduimd! ;-)

[FabiandJ]

Hmm hij is nu op 60% en zie ik dit staan

code:

 mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Tue Apr 10 15:30:14 2012
     Raid Level : raid6
     Array Size : 5860535808 (5589.04 GiB 6001.19 GB)
  Used Dev Size : 1953511936 (1863.01 GiB 2000.40 GB)
   Raid Devices : 6
  Total Devices : 6
    Persistence : Superblock is persistent

    Update Time : Mon Apr 16 22:23:05 2012
          State : active, degraded, reshaping
 Active Devices : 4
Working Devices : 4
 Failed Devices : 2
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

 Reshape Status : 60% complete
  Delta Devices : 1, (5->6)

           Name : GTR:0  (local to host GTR)
           UUID : 2ec6f8b3:b80439ed:5dc8901c:7767cafc
         Events : 10160

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       5       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      faulty spare rebuilding
       4       8       81        4      faulty spare rebuilding
       6       8       97        5      active sync   /dev/sdg1

code:

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sdc1[5] sde1[3](F) sdb1[0] sdf1[4](F) sdd1[2] sdg1[6]
      5860535808 blocks super 1.2 level 6, 512k chunk, algorithm 2 [6/4] [UUU__U]
      [============>........]  reshape = 60.4% (1180428548/1953511936) finish=85756.7min speed=150K/sec

unused devices: <none>

Schiet lekker op met 150K/sec maar niet heus.

Edit:
En hij zit nu op 23K/sec iemand een tip wat ik het beste kan doen? Alle data wat op de raid stond heb ik nog backup op twee andere hdd's.

[ Voor 4% gewijzigd door FabiandJ op 17-04-2012 07:36 ]

[FireDrunk]

Faulty spare, aj, dat klinkt niet goed...

[Jormungandr]

dus in je 4+2 R6 array zijn er 2 failed? Ik zie nergens een hot spare gedefinieerd in de mdadm output.
Ik ga er vanuit dat hi gewoon reshaped naar een 4+2 array maar als degraded array.

Best eens SMART op de faulted disks los laten en kijken of ze daadwerkelijk kapot zijn. Of mdadm het leuk gaat vinden dat je tijdens een reshape ook nog eens gaat disken gaat vervangen en rebuilden ... . Anderzijds, je array zolang degraded laten is niet goed voor de bloeddruk.

[FireDrunk]

Ik denk niet dat de disks kapot zijn, maar omdat die critical section backup eerder misschien bokte, denkt MD dat de info die hij van die disks gekregen heeft niet klopt.

Maar zeker weten doe ik het niet...

[NIK0]

Meauses schreef op zaterdag 14 april 2012 @ 14:48:
[...]


Ik heb deze http://www.ebay.com/itm/1..._trksid=p3984.m1497.l2649 besteld, kwam ik tegen tussen comments in de v&a voor een m1015. Heb zelf een m1015 kunnen scoren voor 95$ - 10% (coupon van ebay) en die bracket besteld.

Heb de gok gewaagd er nog 1tje gescoord via ebay (90$ incl verzenden), voor in de toekomst wanneer de HD's ooit weer 'ns voor een normale prijs verkocht worden

Thanks, heb gekeken maar lijkt erop dat die brackets helemaal uitverkocht zijn
mocht iemand ze nog voor deze prijs ergens tegenkomen dan houd ik me aanbevolen.

[ Voor 6% gewijzigd door NIK0 op 17-04-2012 10:39 ]

[Verwijderd]

Even een leuke heads-up:



Het MSI Brazos bordje wat ik gebruik (E350IS-E45) lukt het om te booten met een PCI-express SAS controller (LSI 1068E). De schijven op de controller worden in FreeBSD/ZFSguru ook gewoon herkend. Dus dat lijkt goed te werken!

Verder heb ik met 8GiB DDR3 geheugenreepjes geprobeerd, voor in totaal 2x8 = 16GiB RAM. En ook dat werkt gewoon, dus Brazos kan wel degelijk met 16GiB RAM overweg. In elk geval dit MSI bordje dan maar waarschijnlijk ook andere Brazos bordjes zo niet alle. De geheugencontroller zit immers in de CPU.

[ Voor 8% gewijzigd door Verwijderd op 17-04-2012 16:29 ]

[FabiandJ]

Jormungandr schreef op dinsdag 17 april 2012 @ 07:54:
dus in je 4+2 R6 array zijn er 2 failed? Ik zie nergens een hot spare gedefinieerd in de mdadm output.
Ik ga er vanuit dat hi gewoon reshaped naar een 4+2 array maar als degraded array.

Best eens SMART op de faulted disks los laten en kijken of ze daadwerkelijk kapot zijn. Of mdadm het leuk gaat vinden dat je tijdens een reshape ook nog eens gaat disken gaat vervangen en rebuilden ... . Anderzijds, je array zolang degraded laten is niet goed voor de bloeddruk.

Ik zou dolgraag willen controleren maar bij mij werkt het niet, dit zijn de faulty disks:

code:

 smartctl -i /dev/sde
smartctl 5.42 2011-10-20 r3458 [x86_64-linux-3.1.9-1.4-desktop] (SUSE RPM)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

Smartctl open device: /dev/sde failed: No such device

code:

 smartctl -i /dev/sde
smartctl 5.42 2011-10-20 r3458 [x86_64-linux-3.1.9-1.4-desktop] (SUSE RPM)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

Smartctl open device: /dev/sde failed: No such device

Als ik een niet faulty disk pak krijg ik dit terug:

code:

smartctl -i /dev/sdc
smartctl 5.42 2011-10-20 r3458 [x86_64-linux-3.1.9-1.4-desktop] (SUSE RPM)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar Green (Adv. Format)
Device Model:     WDC WD20EARS-00MVWB0
Serial Number:    WD-WCAZA6097153
LU WWN Device Id: 5 0014ee 205af7d38
Firmware Version: 51.0AB51
User Capacity:    2,000,398,934,016 bytes [2.00 TB]
Sector Size:      512 bytes logical/physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   8
ATA Standard is:  Exact ATA specification draft version not indicated
Local Time is:    Tue Apr 17 17:32:36 2012 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

[DisasterMaster]

Ik heb een 4TB software raid5 (3xSamsung HD204UI 2TB) draaien onder Ubuntu, met mdadm. Dit systeem is al een aantal keer opnieuw geinstalleerd, en de raid array gaat dus al een aantal installs mee. De cpu is een atom 330 met 4gb ram tot zijn of haar beschikking.

Vroeger was de raid setup nog wel snel, alleen tegenwoordig heb ik het idee dat bij een beetje data verkeer mn server compleet op zn muil gaat. Gisteren heb ik even 10gb verplaatst van een losse hdd (OS) naar de array, en dit duurde echt onwijs lang. Ik heb dit nagebootst in een test door het commando

code:

dd if=/dev/md0 of=10gb.no.optimizations.out bs=1M count=10240

te draaien. Dit leverde een schrijfsnelheid op van 39.1 MB/s, erg treurig voor een raid array. De originele array is opgezet door een vriend van me en ik weet de precieze settings etc niet meer. Hoe kan ik mn raid weer op orde krijgen, en welke informatie heb ik nodig?

[FireDrunk]

Tja, dat kan aan een hoop dingen liggen. Zie je veel CPU verbruik tijdens dat dd commando?

[DisasterMaster]

Het dd commando vraagt volgens atop zo'm 40% cpu gebruik. De hardware monitor van XBMC zegt dat het totale gebruik op core 0,1,2,3,4 respectievelijk 30,40,20,10 is (maar dat is het totaal voor het hele systeem).

In iotop ligt de read/write rond de 30mb/s, en op rond de 60.

Overigens is de Atom330 een dualcore cpu met hyperthreading, vandaar de vier cores. De 40% gebruik is uit een totaal van 200% als ik me niet vergis.

[ Voor 17% gewijzigd door DisasterMaster op 17-04-2012 19:17 ]

[Dennisik]

Raar, met een enkele HD204UI haal ik al 80MB write naar mijn server.

Is het via samba?

[DisasterMaster]

Nee, dit is 'intern'. Wat het commando precies doet weet ik niet, maar het komt er op neer dat er een bestand wordt volgeschreven met random getallen, en die wordt weer uitgelezen. Daarmee wordt dan de schrijfsnelheid bepaald. En het is zeker weten te weinig, ik meen me te herinneren in het verleden 90mb/s write gehaald te hebben (en ook dat kan sneller). Via Samba haal ik van server naar laptop met ssd een schamele 25mb/s over gigabit.

[FireDrunk]

Aha! Nu zie ik het

Ik zal het commando even uitleggen:
dd (commando)
if=/dev/md0 = Input File, het device of file waarvan gelezen word.
of=[filenaam] = Output File, het device of file waarnaar geschreven word.
bs=1M (1024) = Block size, de grootte per request/push naar het subsysteem.
count=1024 = Het totaal aantal requests/pushes.

Wat dit betekend is dus dat er van /dev/md0 naar [filenaam] een aantal van 1024 IO's geschreven word met een IO grootte van 1MB.

Er word dus tegelijkertijd gelzen en geschreven van en naar je array, dat is vaak funest voor de overall snelheid.

Probeer eens:

dd if=/dev/zero of=outfile.000 bs=1M count=10240

Dat schrijft 10GB aan 0-en weg. Daarna kan je ook proberen:

dd if=outfile.000 of=/dev/null bs=1M

Dat leest die 10GB weer in.

[DisasterMaster]

Schrijven:

code:

dd if=/dev/zero of=outfile.000 bs=1M count=10240
10737418240 bytes (11 GB) copied, 235.635 s, 45.6 MB/s

Lezen:

code:

dd if=outfile.000 of=/dev/md0 bs=1M
10737418240 bytes (11 GB) copied, 155.847 s, 68.9 MB/s

Hij is inderdaad een stukje sneller, maar het is nogsteeds veel te langzaam voor wat hij zou moeten kunnen toch?

[FireDrunk]

Het is matig ja. Je kan eens wat tunen in de kernel.

echo 8192 > /sys/block/md0/md/stripe_cache_size
blockdev --setra 64 /dev/sd[abcdefgh]
blockdev --setra 16384 /dev/md0
echo 128 > /sys/block/sda/queue/max_sectors_kb
echo 128 > /sys/block/sdb/queue/max_sectors_kb
echo 128 > /sys/block/sdc/queue/max_sectors_kb
echo 128 > /sys/block/sdd/queue/max_sectors_kb
echo 128 > /sys/block/sde/queue/max_sectors_kb
echo 128 > /sys/block/sdf/queue/max_sectors_kb
echo 128 > /sys/block/sdg/queue/max_sectors_kb
echo 128 > /sys/block/sdh/queue/max_sectors_kb

In rc.local zetten.

[FabiandJ]

Iemand tips wat betreft mijn post eerder vanmiddag voor het uitlezen van de SMART gegevens?

Hmm blij dat ik alles nog op een andere hdd heb staan:

code:

GTR:/ # mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Tue Apr 10 15:30:14 2012
     Raid Level : raid6
     Array Size : 5860535808 (5589.04 GiB 6001.19 GB)
  Used Dev Size : 1953511936 (1863.01 GiB 2000.40 GB)
   Raid Devices : 6
  Total Devices : 6
    Persistence : Superblock is persistent

    Update Time : Tue Apr 17 21:59:46 2012
          State : active, FAILED, reshaping
 Active Devices : 3
Working Devices : 3
 Failed Devices : 3
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

 Reshape Status : 60% complete
  Delta Devices : 1, (5->6)

           Name : GTR:0  (local to host GTR)
           UUID : 2ec6f8b3:b80439ed:5dc8901c:7767cafc
         Events : 10161

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       5       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      faulty spare rebuilding
       4       8       81        4      faulty spare rebuilding
       6       8       97        5      faulty spare rebuilding

[ Voor 87% gewijzigd door FabiandJ op 17-04-2012 22:01 ]

[DisasterMaster]

FireDrunk schreef op dinsdag 17 april 2012 @ 21:00:
Het is matig ja. Je kan eens wat tunen in de kernel.
...
In rc.local zetten.

Heb je settings toegepast, gereboot en de tests opnieuw gedraait. Nogsteeds geen grote verbetering, zowel read als write liggen rond de 60MB/s. Dit is overigens de output van sudo mdadm --detail /dev/md0:

code:

        Version : 0.90
  Creation Time : Tue Aug 16 13:26:48 2011
     Raid Level : raid5
     Array Size : 3907026944 (3726.03 GiB 4000.80 GB)
  Used Dev Size : 1953513472 (1863.02 GiB 2000.40 GB)
   Raid Devices : 3
  Total Devices : 3
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Tue Apr 17 22:23:51 2012
          State : clean
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : 08cfe3b2:643e5dd4:9098fb7a:8d028a5e
         Events : 0.68

    Number   Major   Minor   RaidDevice State
       0       8        0        0      active sync   /dev/sda
       1       8       32        1      active sync   /dev/sdc
       2       8       48        2      active sync   /dev/sdd

Ik ga ook nog even spelen met de stripe_cache_size etc. Heeft iemand verder nog suggesties?

[Jormungandr]

Dutch dat ziet er inderdaad niet goed uit. Als je alles wat op de array staat gebackupt hebt zou ik met een propere lei beginnen en de array vanaf 0 terug opbouwen met de nieuwe devices erbij. Lijkt me sterk dat opeens zo kort na elkaar 3 disks nota bene tijdens de rebuild er onderuit gaan.

[FireDrunk]

DisasterDutchm3n, kan je eens wat logs posten?

@Disaster: Ik denk dat je eens naar je iowait moet kijken in top of iotop, om erachter te komen of je IO daadwerkelijk vol zit, of dat er iets anders speelt.

[ Voor 72% gewijzigd door FireDrunk op 18-04-2012 07:39 ]

[Jormungandr]

Dutch3men schreef op dinsdag 17 april 2012 @ 21:59:
Iemand tips wat betreft mijn post eerder vanmiddag voor het uitlezen van de SMART gegevens?

Wat zegt /var/log/messages? Zijn er SCSI I/O error meldingen?
Het zou wel kunnen dat de SMART niet uit te lezen is omdat de mdadm er ergens tussen zit. Probeer de originele faulted disk uit de array te halen en dan de SMART uit te lezen. Indien er niets fout is hem terug met --zero-superblock en --add toevoegen aan de array.

Misschien trekt de rebuild zich terug recht eens de nieuwe disk eruit is. Het zijn wel educated guesses want dit heb ik nog nooit gezien . Wel een interessante user case tho.

[Verwijderd]

Dutch3men:

Begin met ls -l /dev/sd* zodat je weet hoe je schijven heten, dan gewoon:
smartctl -A /dev/sda

Vrij simpel?

[FireDrunk]

cat /proc/partitions vind ik dan makkelijker

[Verwijderd]

Als er geen '/dev/sde' bestaat dan kan hij ook de SMART info van die niet-bestaande schijf opvragen:

Smartctl open device: /dev/sde failed: No such device

Dus een overzichtje van al zijn schijven en de juiste device names gebruiken lijkt mij de eerste stap. Alleen als schijven verdwenen zijn door timeouts, dan lukt opvragen van SMART niet meer. Maar dan mist md die device ook. Even rebooten en SMART uitlezen. Op welke controller zitten de schijven aangesloten?

[Spoooky]

FireDrunk schreef op dinsdag 17 april 2012 @ 21:00:
Het is matig ja. Je kan eens wat tunen in de kernel.

echo 8192 > /sys/block/md0/md/stripe_cache_size
blockdev --setra 64 /dev/sd[abcdefgh]
blockdev --setra 16384 /dev/md0
echo 128 > /sys/block/sda/queue/max_sectors_kb
echo 128 > /sys/block/sdb/queue/max_sectors_kb
echo 128 > /sys/block/sdc/queue/max_sectors_kb
echo 128 > /sys/block/sdd/queue/max_sectors_kb
echo 128 > /sys/block/sde/queue/max_sectors_kb
echo 128 > /sys/block/sdf/queue/max_sectors_kb
echo 128 > /sys/block/sdg/queue/max_sectors_kb
echo 128 > /sys/block/sdh/queue/max_sectors_kb

In rc.local zetten.

Hoe bereken je de juiste waarden hiervan?

[FireDrunk]

@Spoooky: Proberen.

---



Over NFS...

Joepie

[ Voor 12% gewijzigd door FireDrunk op 18-04-2012 17:21 ]

[Dennisik]

Heeft hier iemand Couchpotato draaien op Linux?

Ik heb hem wel werkend, maar met nieuwsgroepen werkt hij niet echt.

[FabiandJ]

Verwijderd schreef op woensdag 18 april 2012 @ 13:25:
Als er geen '/dev/sde' bestaat dan kan hij ook de SMART info van die niet-bestaande schijf opvragen:

[...]

Dus een overzichtje van al zijn schijven en de juiste device names gebruiken lijkt mij de eerste stap. Alleen als schijven verdwenen zijn door timeouts, dan lukt opvragen van SMART niet meer. Maar dan mist md die device ook. Even rebooten en SMART uitlezen. Op welke controller zitten de schijven aangesloten?

Alles zit aangesloten op een Intel RAID Controller SASUC8I die geflashed is naar de TI firmware.
Ik moest alleen wel alle harde schijven testen op port 0 van de controller, als ik ze op port 1 zette zag die ze wel even, maar daarna waren de schijven weer verdwenen.

Maar meteen de output van alle data schijven die in mijn server zitten. De schijven /dev/sde t/m /dev/sdg heb ik dus moeten testen op port 0 van de controller:

code:

smartctl -A /dev/sdb
smartctl 5.42 2011-10-20 r3458 [x86_64-linux-3.1.9-1.4-desktop] (SUSE RPM)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   253   225   021    Pre-fail  Always       -       958
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       58
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   094   094   000    Old_age   Always       -       4681
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       53
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       52
193 Load_Cycle_Count        0x0032   197   197   000    Old_age   Always       -       10685
194 Temperature_Celsius     0x0022   120   113   000    Old_age   Always       -       30
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

code:

smartctl -A /dev/sdc
smartctl 5.42 2011-10-20 r3458 [x86_64-linux-3.1.9-1.4-desktop] (SUSE RPM)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   253   206   021    Pre-fail  Always       -       1008
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       76
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   091   091   000    Old_age   Always       -       6745
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       70
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       69
193 Load_Cycle_Count        0x0032   194   194   000    Old_age   Always       -       19064
194 Temperature_Celsius     0x0022   122   113   000    Old_age   Always       -       28
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

code:

smartctl -A /dev/sdd
smartctl 5.42 2011-10-20 r3458 [x86_64-linux-3.1.9-1.4-desktop] (SUSE RPM)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   253   222   021    Pre-fail  Always       -       1108
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       107
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   091   091   000    Old_age   Always       -       6637
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       102
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       94
193 Load_Cycle_Count        0x0032   001   001   000    Old_age   Always       -       763470
194 Temperature_Celsius     0x0022   123   106   000    Old_age   Always       -       27
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

code:

smartctl -A /dev/sde
smartctl 5.42 2011-10-20 r3458 [x86_64-linux-3.1.9-1.4-desktop] (SUSE RPM)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   253   221   021    Pre-fail  Always       -       1341
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       263
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   095   095   000    Old_age   Always       -       4057
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       260
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       260
193 Load_Cycle_Count        0x0032   196   196   000    Old_age   Always       -       12078
194 Temperature_Celsius     0x0022   125   099   000    Old_age   Always       -       25
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

code:

smartctl -A /dev/sdf
smartctl 5.42 2011-10-20 r3458 [x86_64-linux-3.1.9-1.4-desktop] (SUSE RPM)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   253   222   021    Pre-fail  Always       -       1266
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       326
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   094   094   000    Old_age   Always       -       4417
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       321
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       321
193 Load_Cycle_Count        0x0032   193   193   000    Old_age   Always       -       22884
194 Temperature_Celsius     0x0022   127   112   000    Old_age   Always       -       23
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

code:

smartctl -A /dev/sdg
smartctl 5.42 2011-10-20 r3458 [x86_64-linux-3.1.9-1.4-desktop] (SUSE RPM)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       6
  3 Spin_Up_Time            0x0027   253   223   021    Pre-fail  Always       -       1200
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       131
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   091   091   000    Old_age   Always       -       6610
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       127
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       125
193 Load_Cycle_Count        0x0032   194   194   000    Old_age   Always       -       20779
194 Temperature_Celsius     0x0022   126   115   000    Old_age   Always       -       24
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       1

[Loekie]

Dutch3men schreef op woensdag 18 april 2012 @ 21:21:
[...]

Alles zit aangesloten op een Intel RAID Controller SASUC8I die geflashed is naar de TI firmware.
Ik moest alleen wel alle harde schijven testen op port 0 van de controller, als ik ze op port 1 zette zag die ze wel even, maar daarna waren de schijven weer verdwenen.

Maar meteen de output van alle data schijven die in mijn server zitten. De schijven /dev/sde t/m /dev/sdg heb ik dus moeten testen op port 0 van de controller:

Errr, kan smartmon tools alweer gebruikt worden via een 1068E-controller dan? Ik heb dat uitgezet/verwijderd omdat dit voor gedropte disks zou zorgen. Of dat nu smartd of de tools zelf zijn weet ik niet.
Cipher had hier het volgende over te zeggen: ZFS-topic

[Verwijderd]

Dat ging over de LSI 1068E controller die niet goed overweg kan met SMART-bombardementen. Dat wil zeggen continu SMART requests achter elkaar. Om die reden moet je geen 'smartd' draaien; die op de achtergrond de SMART van al je schijven bijhoudt en alle veranderingen in de system logs pleurt. Eigenlijk vrij nutteloos ook.

SMART gebruik je het beste gewoon als logboek / eventlog. Daarvoor is het enorm nuttig en dat werkt prima met mijn LSI controllers. SMART opvragen met 'smartctl' is geen enkel probleem; je moet alleen geen 'smartd' draaien. Die zou een bug/issue hebben waardoor in een loop veel SMART-requests achter elkaar worden afgevuurd, waardoor de LSI controller gaat trippen. Zelf nog nooit meegemaakt, maar ik draai dan ook geen 'smartd' ik gebruik enkel 'smartctl'.

Dus alleen smartctl gebruiken en niet smartd; dan zit je prima.

[ Voor 29% gewijzigd door Verwijderd op 18-04-2012 23:09 ]

[Loekie]

Het was iets met klok en klepel
Zie overigens dat die smartd wel in zelfde package als smartmontools zit?

[Verwijderd]

Ja, je moet het in /etc/rc.conf zetten om te activeren: smartd_enable="YES". Maar dat moet je dus niet doen; alleen de 'smartctl' utility gebruiken. De package zelf heet 'smartmontools' en bevat inderdaad beide componenten; een background smart daemon (smartd) en smart control frontend (smartctl).

[ Voor 33% gewijzigd door Verwijderd op 19-04-2012 00:46 ]

[DisasterMaster]

FireDrunk schreef op woensdag 18 april 2012 @ 17:21:
@Spoooky: Proberen.

---

[afbeelding]

Over NFS...

Joepie

Ouch. Duurde dat niet verschrikkelijk lang? Ik heb trouwens nog een keer dd gedraait, met iotop op de achtergrond. Ik haalde een IO van rond de 50-60%, met uitschieters naar de 70%. Als ik dd if=outfile.000 of=/dev/null bs=1M draai, zou dit alleen moeten lezen toch? Ik merkte in iotop namelijk dat ik tegelijkertijd zowel op 60mb/s lezen als schrijven zat, klopt dat uberhaupt wel?

[FireDrunk]

Je schrijft naar /dev/null, misschien dat iotop dat ook ziet, maar dat kost geen moeite omdat /dev/nul gewoon het 'niets' is. De data word gewoon in memory gediscard, en dat zou dus 'oneindig' snel moeten zijn (het is natuurlijk afhankelijk van CPU, maar die verstookt >600GB/s, dus dat zal het limiet niet zijn )

Even getest:

[root@NAS ~]# dd if=/dev/zero of=/dev/null bs=1M count=102400
102400+0 records in
102400+0 records out
107374182400 bytes (107 GB) copied, 10.9252 s, 9.8 GB/s

Ik snap niet zo goed wat je bedoeld met: Duurt dat niet super lang? Het is een screenshot van het huidige IO verkeer op mijn server, en 622MB/s is retesnel

[ Voor 19% gewijzigd door FireDrunk op 19-04-2012 13:23 ]

[DisasterMaster]

FireDrunk schreef op donderdag 19 april 2012 @ 13:20:
Je schrijft naar /dev/null, misschien dat iotop dat ook ziet, maar dat kost geen moeite omdat /dev/nul gewoon het 'niets' is. De data word gewoon in memory gediscard, en dat zou dus 'oneindig' snel moeten zijn (het is natuurlijk afhankelijk van CPU, maar die verstookt >600GB/s, dus dat zal het limiet niet zijn )

Even getest:

[root@NAS ~]# dd if=/dev/zero of=/dev/null bs=1M count=102400
102400+0 records in
102400+0 records out
107374182400 bytes (107 GB) copied, 10.9252 s, 9.8 GB/s

Ik snap niet zo goed wat je bedoeld met: Duurt dat niet super lang? Het is een screenshot van het huidige IO verkeer op mijn server, en 622MB/s is retesnel

Dat zei ik omdat ik dacht dat je over NFS alle combinatie's had uitgeprobeerd. Ik heb trouwen niet /dev/null gebruikt als commando, maar /dev/md0. Dat ik /dev/null/ schreef was omdat ik het uit een oude post had gecopypaste. Anyway, mijn IO is dus zo'n 60% tijdens het dd commando, is dat zodanig veel dat het daarom traag gaat? Ik zou anders niet weten waar het aan ligt.

[FireDrunk]

Je hebt toch niet * FireDrunk if=/dev/zero of=/dev/md0
gedaan toch?
Dat is namelijk *heel* gevaarlijk...

Het feit dat je IO belasting op 60% ligt, kan aan de kleine requests liggen. Als jou md array met een chunk van 64 gemaakt is, moeten er heel veel kleine requests gedaan worden om een groot block data te krijgen.

In veel gevallen is een grote chunksize daarom wenselijker omdat je (iets) sneller sequentieel schrijft.
Nadeel is weer dat random IO vaak langzamer word. Maar voor een data array is een grote chunksize 99/100 keer wenselijk.

Maar ook dingen als kernel parameters spelen mee. De waardes die ik voorstelde, worden pas actief na een reboot als je ze in /etc/rc.local zet, of je moet die file even handmatig uitvoeren.

[ Voor 16% gewijzigd door FireDrunk op 19-04-2012 14:46 ]

[DJ-Promo]

Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdc1[4] sdb1[0] sde1[3] sdd1[1]
3907021568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
[>....................] reshape = 2.2% (43829636/1953510784) finish=1323.8min speed=24041K/sec

unused devices: <none>

Zo die nieuwe disk is bezig. Als het goed gaat 4x2TB in raid5. Zat met 3x2TB al op 80% vol.

[FireDrunk]

Met een beetje tunen zou die reshape toch wel sneller moeten kunnen?

[DJ-Promo]

Heb alleen dit gedaan:

echo 25000 > /proc/sys/dev/raid/speed_limit_min

Zie:

root@ana:~# cat /proc/sys/dev/raid/speed_limit_max
200000
root@ana:~# cat /proc/sys/dev/raid/speed_limit_min
25000

[ Voor 46% gewijzigd door DJ-Promo op 21-04-2012 12:31 ]

[FireDrunk]

/sys/devices/virtual/block/md0/md/sync_speed_max
/sys/devices/virtual/block/md0/md/sync_max

Die kan je ook nog proberen.

[DJ-Promo]

Hij gaat niet sneller. Een internal bitmap aanmaken kan niet als die bezig is.

[FireDrunk]

Bitmap heeft voor een grow ook geen zin volgens mij. Alleen voor een rebuild.

[DJ-Promo]

Gaat nog wel even duren .

[FireDrunk]

Over mijn 10Gb escapades:
Ook Ubuntu heeft problemen met de 10Gb NIC, alleen is nog een beetje vaag waar dit door komt. Het schijnt dat VT-d met die kaart problemen op kan leveren. Ik heb al met MSI/MSI-x interrupts en ASPM zitten spelen, maar niets helpt. De kaart blijft een HW initalization error geven met melding : -15.

Raar...

[DJ-Promo]

Zo vanochtend was het reshape klaar en heb ik het file system gechecked en vergroot.
Na een reboot zag alles er weer prima uit .

Schrijven is van 178 MB/s naar 225 MB/s gegaan en lezen van 141 MB/s naar 186 MB/s.

Mijn Norco hotswap bay voor 4 disken is nu mooi gevult met 4x2TB ( Samsung F4 ).
Als ik nog schijf ruimte tekort heb wordt het tijd voor een nieuwe nas .

[siskos]

Enkele weken geleden zat mijn oud fileservertje helemaal vol dus heb ik de volgende diskan samengesteld;

4x Samsung HD204UI (2tb Spinpoint EcoGreen)
(1 is een oudere die ik nog overhad van de vorige server)

Op de server zelf heb ik OpenMediavault gezet en een software RAID5 aangemaakt.
Maar nu zit ik met het volgende probleem, ik krijg geen enkel FullHD film met 7.1 naar mijn home cinema gestreamed.

Na wat onderzoek lijkt dat de leessnelheiden gewoon bedroevend zijn.
Iemand een idee wat ik hieraan kan doen? Of waar ik moet gaan zoeken waarom het zo traag gaat?

Hier een testje van de lees snelheiden;

dd if=The.Expendables.2010.1080p.trailer.mov of=/dev/null
337262+1 records in
337262+1 records out
172678650 bytes (173 MB) copied, 192.814 s, 896 kB/s

De schrijf snelheiden lijken dan weer goed;

dd if=/dev/zero of=test.iso bs=1M count=5024
5024+0 records in
5024+0 records out
5268045824 bytes (5.3 GB) copied, 42.7639 s, 123 MB/s

Als ik dezelfde file dan lees lijkt het ook goed te gaan wat ik niet zo snap, maar deze test lijkt niet correct?

dd if=test.iso of=/dev/null
10289152+0 records in
10289152+0 records out
5268045824 bytes (5.3 GB) copied, 4.99151 s, 1.1 GB/s

En ik krijg de volgende smart statussen;
/dev/sdb

code:

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   001   001   051    Pre-fail  Always   FAILING_NOW 60021
  2 Throughput_Performance  0x0026   252   252   000    Old_age   Always       -       0
  3 Spin_Up_Time            0x0023   067   067   025    Pre-fail  Always       -       10301
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       6
  5 Reallocated_Sector_Ct   0x0033   252   252   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   252   252   051    Old_age   Always       -       0
  8 Seek_Time_Performance   0x0024   252   252   015    Old_age   Offline      -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       210
 10 Spin_Retry_Count        0x0032   252   252   051    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   252   252   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       9
181 Program_Fail_Cnt_Total  0x0022   100   100   000    Old_age   Always       -       67974
191 G-Sense_Error_Rate      0x0022   252   252   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0022   252   252   000    Old_age   Always       -       0
194 Temperature_Celsius     0x0002   064   064   000    Old_age   Always       -       22 (Lifetime Min/Max 22/22)
195 Hardware_ECC_Recovered  0x003a   100   100   000    Old_age   Always       -       0
196 Reallocated_Event_Count 0x0032   252   252   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   099   099   000    Old_age   Always       -       232
198 Offline_Uncorrectable   0x0030   252   252   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0036   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x002a   001   001   000    Old_age   Always       -       46377
223 Load_Retry_Count        0x0032   252   252   000    Old_age   Always       -       0
225 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       9

/dev/sdc

code:

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   100   100   051    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0026   252   252   000    Old_age   Always       -       0
  3 Spin_Up_Time            0x0023   068   068   025    Pre-fail  Always       -       9932
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       6
  5 Reallocated_Sector_Ct   0x0033   252   252   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   252   252   051    Old_age   Always       -       0
  8 Seek_Time_Performance   0x0024   252   252   015    Old_age   Offline      -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       210
 10 Spin_Retry_Count        0x0032   252   252   051    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   252   252   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       9
181 Program_Fail_Cnt_Total  0x0022   100   100   000    Old_age   Always       -       67990
191 G-Sense_Error_Rate      0x0022   252   252   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0022   252   252   000    Old_age   Always       -       0
194 Temperature_Celsius     0x0002   064   064   000    Old_age   Always       -       24 (Lifetime Min/Max 24/24)
195 Hardware_ECC_Recovered  0x003a   100   100   000    Old_age   Always       -       0
196 Reallocated_Event_Count 0x0032   252   252   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   252   252   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   252   252   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0036   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x002a   100   100   000    Old_age   Always       -       0
223 Load_Retry_Count        0x0032   252   252   000    Old_age   Always       -       0
225 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       9

/dev/sdd

code:

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   100   100   051    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0026   252   252   000    Old_age   Always       -       0
  3 Spin_Up_Time            0x0023   068   068   025    Pre-fail  Always       -       9927
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       6
  5 Reallocated_Sector_Ct   0x0033   252   252   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   252   252   051    Old_age   Always       -       0
  8 Seek_Time_Performance   0x0024   252   252   015    Old_age   Offline      -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       210
 10 Spin_Retry_Count        0x0032   252   252   051    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   252   252   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       9
181 Program_Fail_Cnt_Total  0x0022   100   100   000    Old_age   Always       -       67998
191 G-Sense_Error_Rate      0x0022   252   252   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0022   252   252   000    Old_age   Always       -       0
194 Temperature_Celsius     0x0002   064   064   000    Old_age   Always       -       24 (Lifetime Min/Max 24/24)
195 Hardware_ECC_Recovered  0x003a   100   100   000    Old_age   Always       -       0
196 Reallocated_Event_Count 0x0032   252   252   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   252   252   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   252   252   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0036   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x002a   100   100   000    Old_age   Always       -       1
223 Load_Retry_Count        0x0032   252   252   000    Old_age   Always       -       0
225 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       9

/dev/sde

code:

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   100   100   051    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0026   252   252   000    Old_age   Always       -       0
  3 Spin_Up_Time            0x0023   068   045   025    Pre-fail  Always       -       9797
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       683
  5 Reallocated_Sector_Ct   0x0033   252   252   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   252   252   051    Old_age   Always       -       0
  8 Seek_Time_Performance   0x0024   252   252   015    Old_age   Offline      -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       3194
 10 Spin_Retry_Count        0x0032   252   252   051    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   252   252   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       232
181 Program_Fail_Cnt_Total  0x0022   100   100   000    Old_age   Always       -       56022
191 G-Sense_Error_Rate      0x0022   079   079   000    Old_age   Always       -       216231
192 Power-Off_Retract_Count 0x0022   252   252   000    Old_age   Always       -       0
194 Temperature_Celsius     0x0002   064   062   000    Old_age   Always       -       24 (Lifetime Min/Max 15/38)
195 Hardware_ECC_Recovered  0x003a   100   100   000    Old_age   Always       -       0
196 Reallocated_Event_Count 0x0032   252   252   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   252   252   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   252   252   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0036   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x002a   100   100   000    Old_age   Always       -       6901
223 Load_Retry_Count        0x0032   252   252   000    Old_age   Always       -       0
225 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       690

Nu zie ik wel bij de laatste (de oudste) dat dez nogal wat Multie_Zone_Error_Rate heeft zou dit de oorzaak kunnen zijn of zien jullie nog een ander probleem?

[ Voor 88% gewijzigd door siskos op 22-04-2012 13:32 ]

[HarmoniousVibe]

Kun je eens kijken in iotop en iostat -xm 1?

Beide pakketten moeten wellicht nog worden geïnstalleerd. iostat zit in sysstat.

Ook is een mdadm -D /dev/mdX wel handig. En je moet even de SMART values van de disken bekijken.

[ Voor 27% gewijzigd door HarmoniousVibe op 22-04-2012 13:29 ]

[siskos]

iotop ga ik zometeen eens proberen tnx.

mdadm geeft het volgende resultaat;

code:

root@ceres:/dev# mdadm -D /dev/md127
/dev/md127:
        Version : 1.2
  Creation Time : Tue Apr  3 22:45:10 2012
     Raid Level : raid5
     Array Size : 5860538880 (5589.05 GiB 6001.19 GB)
  Used Dev Size : 1953512960 (1863.02 GiB 2000.40 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sun Apr 22 13:34:26 2012
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : openmediavault:Storage1
           UUID : e1e9b5bf:309d7e82:bfd1d318:55513fba
         Events : 16958

    Number   Major   Minor   RaidDevice State
       0       8       16        0      active sync   /dev/sdb
       1       8       32        1      active sync   /dev/sdc
       2       8       48        2      active sync   /dev/sdd
       3       8       64        3      active sync   /dev/sde

iostat geeft het volgende weer;

code:

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          24.30    0.00    2.78   24.05    0.00   48.86

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb               8.00     0.00    1.00    1.00     0.50     0.00   513.00     4.46 8808.00 502.00 100.40
sdc               7.00     0.00    2.00    1.00     0.90     0.00   614.00     0.02    6.67   5.33   1.60
sdd               4.00     0.00    1.00    1.00     0.50     0.00   513.00     0.02   12.00  12.00   2.40
sde               4.00     0.00    2.00    1.00     0.60     0.00   411.33     0.04   12.00  10.67   3.20
md127             0.00     0.00   30.00    0.00     3.00     0.00   204.80     0.00    0.00   0.00   0.00
sdf               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdb blijft continue in 100 staan als ik probeer een film te spelen?

[ Voor 33% gewijzigd door siskos op 22-04-2012 13:40 ]

[DJ-Promo]

Dat 1.1 GB/s lezen is mischien cache?
Trouwens die film lezen is lokaal op de server?

[siskos]

De film speel ik af vanaf mijn Mede8er die via Samba of NFS de film probeert af te spelen vanaf de RAID5 op de server.

Ik had zowel samba en nfs al geprobeerd om uit te kunnen sluiten dat samba het probleem was.
Vervolgens heb ik geprobeerd om gewoon de file te kopiëren op een windows pc via gigabit netwerk maar ook dit ging heel erg traag.
Daarom ben ik gaan kijken op de server zelf wat het probleem kon zijn.

Ik gok inderdaad dat het 1.1 GB/s lezen cache is want lijkt me onwaarschijnlijk dat een zelfgemaakte file wel snel is...

Overigens merk ik op dat als ik de film maar wat laat stotteren, na 10min het ineens wel goed werkt! De 100% util op disk sdb is verdwenen en nu werkt deze film wel goed? Nu snap ik er nog minder van...

dd if=The.Expendables.2010.1080p.trailer.mov of=/dev/null
337262+1 records in
337262+1 records out
172678650 bytes (173 MB) copied, 1.96193 s, 88.0 MB/s

Ben nu een grotere file aan het kopiëren, wat ik wel zie als ik een film BIJ de kopie opstart dat het volgende ineens voorkomt; de jdb2/md127-8 neemt geregeld (als het begint te schokken, 99,99% IO)

[ Voor 51% gewijzigd door siskos op 22-04-2012 14:18 ]

[Jormungandr]

Bizar dat het zo scheelt. Probeer het eens met een grotere random file?

[FireDrunk]

197 Current_Pending_Sector 0x0032 099 099 000 Old_age Always - 232

Dat klinkt niet goed...

JBD2 is journalling van ext4. Misschien eens een grote filesystemcheck uitvoeren?

[ Voor 31% gewijzigd door FireDrunk op 22-04-2012 14:39 ]

[siskos]

Het probleem dat ik in iostat zie dat /dev/sdb util% 100 is bij het schokken ligt dan waarschijnlijk aan het feit dat er dode sectoren zijn als ik dat mag besluiten van Current_Pending_Sector?

232 dode sectoren op een schijf die nog geen maand oud is lijkt me wel erg veel?

[Verwijderd]

Geen dode sectoren; onleesbare sectoren. Dit kán voorkomen zonder fysieke schade aan de schijven zelf. Maar voor een gloednieuwe schijf is dat geen goed teken.

Dat gezegd; hardeschijven kunnen niet meer 100% vertrouwd worden; door de hogere datadichtheid moet je een andere oplossing vinden voor onleesbare bad sectors. ReFS, Btrfs en ZFS zijn daarvoor de beste oplossingen; op filesystem niveau. Een filesystem moet/kan/mag niet meer uitgaan van een 100% correct werkend storage-apparaat. Zoiets heeft nooit bestaan, dus dient het filesystem ook niet uit te gaan van onfeilbare hardware.

[HarmoniousVibe]

Ziet bijna iedereen nu regel 5 van de smart-status van sdb over het hoofd? Als er van een bepaalde schijf geen data kan worden gelezen, of als hier vele pogingen voor nodig zijn is het logisch dat de snelheid als een pudding in elkaar zakt.

Volgens mij betekent RAW_READ_ERROR_RATE in dit geval gewoon dat de disk defect aan het geraken is. Als het nu in combinatie was met UDMA_CRC_Error_Count en ook een slechte schrijfsnelheid was, zou je de SATA-kabel of poort nog de schuld kunnen geven, maar in dit geval lijkt het er sterk op dat de disk kapot is.

Je kunt je performance weer gedeeltelijk herstellen door /dev/sdb als faulty te markeren. Hierdoor zit je natuurlijk wel met een degraded array opgescheept, dus ik zou hiermee toch maar even wachten totdat je een nieuwe schijf hebt.

[ Voor 93% gewijzigd door HarmoniousVibe op 22-04-2012 18:06 ]

[siskos]

Ik had inderdaad ook regel 5 totaal over het hoofd gezien
Heb zojuist de smart status uitgeprint en de schijf gaat morgen terug naar de shop om deze te wisselen, heb ook even de RAID getest en nu werkt het streamen inderdaad wel!

Nu wel braaf de server afgezet want vertrouw het niet dat er nu al 1 schijf kapot is gegaan...

dd if=The.Expendables.2010.1080p.trailer.mov of=/dev/null 
337262+1 records in
337262+1 records out
172678650 bytes (173 MB) copied, 0.892696 s, 193 MB/s

Alvast bedankt voor de hulp op deze zondag(na)middag

[HarmoniousVibe]

Ik weet overigens niet hoe 'gevaarlijk' de Multi_Zone_Error_Rate is. Dat zou je ook nog even na kunnen zoeken wellicht.

[Psycho_Bartje]

Verwijderd schreef op dinsdag 17 april 2012 @ 16:26:
Even een leuke heads-up:

[afbeelding]

Het MSI Brazos bordje wat ik gebruik (E350IS-E45) lukt het om te booten met een PCI-express SAS controller (LSI 1068E). De schijven op de controller worden in FreeBSD/ZFSguru ook gewoon herkend. Dus dat lijkt goed te werken!

Verder heb ik met 8GiB DDR3 geheugenreepjes geprobeerd, voor in totaal 2x8 = 16GiB RAM. En ook dat werkt gewoon, dus Brazos kan wel degelijk met 16GiB RAM overweg. In elk geval dit MSI bordje dan maar waarschijnlijk ook andere Brazos bordjes zo niet alle. De geheugencontroller zit immers in de CPU.

En de prestaties ?
Heb je hier ZFSguru op getest met wat schijven er aan ?
Dit lijkt me de basis van een zeer energiezuinige NAS

[Verwijderd]

Ik gebruik dat MSI Brazos bordje al een half jaar of wat als ZFS server. Mijn grotere servers doe ik alleen aan als ik daar bestanden van nodig heb. Ik heb idle aan het stopcontact 9W gemeten onder Linux; onder Windows zou lager mogelijk moeten zijn tot 7,3 watt zoals getest door X-Bit-Labs. FreeBSD verbruikt iets meer stroom; scheelt anderhalve watt uit mijn hoofd. Ik doe rond de 14W idle met 2 keer Samsung M8 1TB notebook HDD en 2 SSDs met DIPM (2x75mW). Dit draait op ZFSguru.

Prestaties zijn prima; geheugenbandbreedte genoeg; alleen de CPU-performance is laag voor zaken als GZIP compressie; dus ik gebruik gewoon LZJB voor het systeem en voor de rest geen compressie of dedup. Je kunt ook het pricewatch: Asus E35M1-I bordje overwegen; heb je 6 onboard SATA. Ik durf niet te zeggen of de PCI-express ook gebruikt kan worden voor een LSI SAS controller; dat werkt niet op alle bordjes! Maar dus wel op het MSI bordje, die waarschijnlijk het zuinigst is.

Bedenk wel dat dit MSI bordje een vervelende CPU-fan heeft; ik gebruik nu een 120mm fan maar ik wil met Arctic Thermal Compound een grote heatsink zoals Scythe Big Shuriken erop monteren. Moet nog wel kijken of dat past, maar ik denk het wel.

Brazos is goed voor simpele ZFS servers zoals 3/5-disk RAID-Z of 6-disk RAID-Z2. Dit zijn de optimale configuraties voor 4K sector schijven, dus leuk als instap ZFS server en erg low-power uitgaande van een PicoPSU voeding. Met de 150W Streacom set kun je ook aardig wat schijven opspinnen. Zeg 20W systeem dan heb je 130W voor de HDDs á 16W per stuk = 8x Samsung F4EG 2TB schijven. Dit is wel best-case, want andere schijven hebben hogere spinup current. 6 nieuwe desktop schijven zou je als maximum moeten hanteren.

[ Voor 3% gewijzigd door Verwijderd op 23-04-2012 00:59 ]

[jimmy87]

Ik ben eigenlijk op zoek naar een kast waar ik +- 8 - 12 schijven in kwijt zou kunnen maar de kasten die ik vindt van bijv norco die het kunnen zijn of niet te betalen of hebben het geluidsvolume maatje f16. Het hoeft niet fluisterstil te zijn maar ik heb hier geen datacenter. Heeft iemand hier misschien een idee?

[HarmoniousVibe]

jimmy87 schreef op maandag 23 april 2012 @ 01:44:
Ik ben eigenlijk op zoek naar een kast waar ik +- 8 - 12 schijven in kwijt zou kunnen maar de kasten die ik vindt van bijv norco die het kunnen zijn of niet te betalen of hebben het geluidsvolume maatje f16. Het hoeft niet fluisterstil te zijn maar ik heb hier geen datacenter. Heeft iemand hier misschien een idee?

Antec Three Hundered met een aantal simpele 5,25 -> 3,5 inch convertor brackets/bays.

[MikeVM]

2dehandse stacker met 4-3 modules,
dit heb ik ook dit weekend gedaan, totale kostprijs was 80 euro, nu kan ik 12 schijven kwijt, en er is nog plaats voor meer modwerk

[jimmy87]

Is die 80 met of zonder de modules? Zal dat eens bekijken. Nu nog een voeding zoeken met dat aantal, zal er een worden met verloop stukjes gok ik.

[Demo]

FireDrunk schreef op zaterdag 21 april 2012 @ 15:22:
Bitmap heeft voor een grow ook geen zin volgens mij. Alleen voor een rebuild.

Bitmap moet volgens mij zelfs uit bij een grow en daarna weer toegevoegd worden...

[HarmoniousVibe]

Demoniac schreef op maandag 23 april 2012 @ 08:26:
[...]
Bitmap moet volgens mij zelfs uit bij een grow en daarna weer toegevoegd worden...

Stimmt. Daarnaast heeft een bitmap alleen zin als wilt resyncen met een schijf die een klein beetje out of sync ik geraakt en daarna opnieuw wordt toegevoegd. Als je een schijf volledig vervangt zal het resyncen met bitmap net zo lang duren als zonder.

[Jormungandr]

Een stacker is een van de beste opties als je high density wil gaan en geen rackmount wil.
Heb het zelf ook overwogen maar heb nu een Norco rackmountable.

Mijn desktop verhuist van de Stacker naar de Fractal case waar men nas nu in zit en de NAS naar de Norco. Moet dan maar eens gaan kijken waar ik met die Stacker naartoe ga.

[Tsurany]

Stacker is aardig maar je moet echt met 4in3 modules gaan werken en als je nog een beetje wat aantallen wilt moet je zelf gaan modden. Ik ga dan liever voor een kast als de Nexus Edge, standaard gaan daar 9 hardeschijven in en dan kan je er nog gemakkelijk twee 4in3 modules in kwijt zodat je dan al 17 schijven comfortabel kwijt kan. Kast is met 120 euro ook helemaal niet prijzig, is vrij solide en heeft goede Nederlandse ondersteuning aangezien het een Nederlands product is.

[Jormungandr]

Zozo wat een episode zeg, dat Norco verhaal. Zijn nu eindelijk mijn SAS-SAS kabels binnen (niet de allersnelste ebayer), duwen ze toch aardig hard tegen de fan bracket aan.



Opties:
- Shrink een beetje inkorten zodat de kabels strakker plooien.
- Fanbracket stukje naar achter verplaatsen.
- Wenen.

manmanmanman ...

[Verwijderd]

Ik denk dat je voor die Norco van die gedraaide kabels nodig hebt, dus met 90-graden hoek. Die heb je ook in SATA-vorm. Normaliter is het niet zo fijn om SATA kabels sterk te buigen, zoals ik op jouw plaatje wel een beetje zie. Je kunt het denk ik wel zo houden, maar test wel even goed met doorvoer I/O en kijk dan naar de SMART om te verifiëren dat UDMA_CRC_ERROR_COUNT niet is toegenomen. Deze attribuut geeft namelijk kabelfouten aan.

[ Voor 5% gewijzigd door Verwijderd op 26-04-2012 19:00 ]

[Jormungandr]

Tjah, probeer maar eens ergens SAS-SAS kabels met aan beide kanten een 90-graden hoek EN langer dan 50cm te scoren. Heb rondgezocht maar vond op ebay niets terug en ook in reguliere shops enkel in 50cm te vinden.

[Pantagruel]

Jormungandr schreef op donderdag 26 april 2012 @ 19:02:
Tjah, probeer maar eens ergens SAS-SAS kabels met aan beide kanten een 90-graden hoek EN langer dan 50cm te scoren. Heb rondgezocht maar vond op ebay niets terug en ook in reguliere shops enkel in 50cm te vinden.

Yep, een beetje pech,bij de meeste is slechts 1 connector onder een hoek en dan nog naar beneden ook nog.

Wat je het liefst wilt hebben is de volgende:



gevonden op deze link

of deze



gevonden op link


Emailen en zien of ze zaken willen doen.

[Jormungandr]

Je bent een tweaker of je bent het niet :-P. Ik heb de krimpkous weggehaald op 1 kabel en dan past het allemaal net. Morgen migreer ik en draai ik wel een cron scriptje om de smart values in het oog te houden. Als ik veel extra errors ivm kablering krijg zoek ik wel een oplossing. (al moet ik verdorie die hele fan bracket uiteen vijzen).

[ISaFeeliN]

Ik vond gisteren nog wat interessante tcp tuning tips, voor de *nixen, maar ook voor windows;

http://proj.sunet.se/E2E/tcptune.html

en

http://www.speedguide.net...-7-vista-2008-tweaks-2574

Thuis ging ik van 40-60MB/sec van mijn nas, naar pieken van 90MB/sec. En mijn nas thuis is 'maar' een Intel Atom 510 (FreeBSD 9.0/64-bit met ZFS).

Voor BSD ben ik uiteindelijk uitgekomen op deze sysctls (/etc/sysct.conf ; /etc/rc.d/sysctl restart of reboot):

net.inet.tcp.sendspace=2097136
net.inet.tcp.recvspace=2097136
net.inet.udp.recvspace=2097136
net.inet.tcp.recvbuf_max=16777216
net.inet.tcp.sendbuf_max=16777216
net.inet.tcp.inflight.enable=0
kern.ipc.maxsockbuf=4000000

[Verwijderd]

Het is erg vreemd als je hierdoor betere scores haalt. Die tuning is bedoeld voor ouderwets FreeBSD (versie 4 en 5) die geen automatische tuning van TCP buffers ondersteunde. Kortom; je volgt guides op die voor een heel ander tijdperk gelden. Handmatig tunen kan je juist performance kosten.

Windows tuning kan wel heel veel winst boeken; omdat Windows niet zo'n goeie default settings heeft ingesteld.

Als je alle BSD tuning nu uitschakelt, krijg je dan nog steeds de hogere netwerk throughput? Zo ja, dan zou ik het daarbji laten; BSD settings op auto, alleen Windows handmatige tuning.

[ISaFeeliN]

Het is zelfs niet alleen lan, ook internet (sab draait er ook op) gaat sneller. Ik weet dat er geel ge auto-tuned wordt, en dat staat nog steeds aan overigens (defaults), toch maakt dit verschil.

Nu we het toch over sysctls hebben. Weet jij toevallig nog een goede plek voor documentatie daarvan? (afgezien van manpages en sysctl -d).

[ Voor 26% gewijzigd door ISaFeeliN op 28-04-2012 17:01 ]

[Jormungandr]

Zozo, weer een bewogen Norco-dag. Niet alles is DIY NAS maar misschien wel interessant.

Stap 1: Overbouwen ESX server


Nog een laatste blik op de rottige Aopen H600B case en weg ermee. Alles ging vlot tot ik de PSU ging overbouwen. De BeQuiet voedingen zijn EXACT even hoog als de ruimte in de 2U case. Zoals je kan zien op de foto scheelt het niks. Om de gaatjes uitgelijnd te krijgen moest de voeding met de fan naar beneden erin. Veel lucht zuigen gaat dat ding dus niet doen. Eind goed al goed. Snel even opgezet en ESX bootte terug zonder probleem.

Een fotootjes van het rack zoals ze er nu bij staat:


Ik heb een Allied Telesis L3 gigabit switch in bruikleen terwijl ik het web afschuim naar een goede 19" Gb switch voor thuis. Dat ding weegt r*teveel door de redundante voedingen maar de 4 vijsjes houden het geheel goed recht . Helemaal gerust ben ik er overigens niet op. Daarnaast is het gewoon overkill. De switch trekt consistent 42W uit de stekker op 1 voeding. Dat is meer dan mijn ESXi bakje in idle!

Dan tijd dus voor de NAS. Snel even iedereen thuis waarschuwen dat films en home dir's niet beschikbaar zijn en afsluiten maar. Omdat ik geen hotswap wil opofferen voor OS+home heb ik een 120GB laptopschijfje genomen aangezien die bovenop de hotswaps past. 320GB naar 120GB zegt u? Geen probleem. Partities shrinken, disk clonen met Clonezilla en done. Niet als het aan XFS ligt dus ... . Een geheel nieuwe installatie zal nodig zijn om de overstap compleet te maken. (geen slecht plan, want er staan heel wat paketten en extra's op mijn NAS die gevirtualiseerd kunnen worden)



Overbouwen was alweer een fluitje van een cent. De IBM M1015 moet het stellen zonder low profile bracket en ook aan deze kant heb ik de shrinkwrap van de SAS-SAS kabel moeten halen om hem in de Norco te doen passen. Ziezo, enkel nog de voeding overplaatsen en done. Alweer NOGO. De Seasonic voeding heeft een 8polige 12V ATX stekker. Geen probleem, ware het niet dat het M2a-VM mobo een 4polige stekker heeft EN een welgeplaatste condensator die het plaatsen van een 8polige stekker volledig teniet doet.

Booten zonder de 12V doet het bordje niet en de aders uit de 12V ATX stekker zijn er met geen stokken uit te krijgen, iets wat bij een molex plug wel lukt. Booten met de Seasonix + BeQuiet voeding (MET 4polige stekker) lukt wel en maakt meteen duidelijk waarom dit rack de zolder op moet. De 80mm fans maken pure pokkeherrie. Angst voor hoge temperaturen moet ik alleszins niet hebben .

Bottomline: Alles terug overbouwen naar de Fractal case en aan de volgende stap denken. Misschien toch maar een vervroegde hardware refresh doen en een LGA1155 kopen (zuiniger dan de AMD!) met de 8polige stekker in het achterhoofd.

Tot overmaat van ramp kijk ik de SMART selftest na die deze nacht gedraaid heeft:

code:

SDB:
- Raw_Read_Error_Rate     0x002f   100   100   051    Pre-fail  Always       -       3359
- Multi_Zone_Error_Rate   0x002a   001   001   000    Old_age   Always       -       38084
- G-Sense_Error_Rate      0x0022   086   086   000    Old_age   Always       -       144260

SDC:
- Raw_Read_Error_Rate     0x002f   100   100   051    Pre-fail  Always       -       78
- Multi_Zone_Error_Rate   0x002a   100   100   000    Old_age   Always       -       2259

SDD:
- Raw_Read_Error_Rate     0x002f   100   100   051    Pre-fail  Always       -       736
- Multi_Zone_Error_Rate   0x002a   100   100   000    Old_age   Always       -       30693

Een hele lijdensweg dus, vol met details die de hele boel verzieken. Intussen draait alles weer in de Fractal desktop case en hangt alles weer in het rack. Resultaat van vandaag: VEEL gevloek, een kamer die een puinhoop is en geen stap verder. Maar tweaken hebben we wel gedaan

[FireDrunk]

* FireDrunk heeft een TP-Link Gb switch gekocht voor net iets meer dan 200,- en die bevalt prima

[mphilipp]

Ik heb uiteindelijk besloten om ook maar eens te experimenteren met ZFS. Ik hoor prima verhalen over de integratie in Ubuntu, en ik maak toch geen gebruik van alle geavanceerde faciliteiten als compressie en dedup. Ik wil het eerst op mijn staging area doen. Dat zijn 2 disks in stripe-opstelling waar mijn downloads (SABnzb) op terecht komen en het uitpakken enzo op plaatsvindt.

Specs van mijn NASsie Speciaal

Aangezien ik ook nog de 2 disks die tot nu toe de staging area vormden wilde vervangen (relatief trage 500Gb disks) door 2 snelle WD's van 1Tb heb ik het in 2 fases gesplitst: eerst op de 'oude' disks testen of ik het überhaubt aan de praat kon krijgen. Daarna de snelle disks erin (komen uit mijn desktop).

Eerst even testen met een simpele benchmark (raid test script dat iemand in dit topic heeft gemaakt). Met de oude disks onder MDADM: 225MB/s write en 276MB/s read.
ZFS erop en er een simpele ZFS pool van gemaakt (ook stripe). Opnieuw testen: 215 write en 347 read. Vreemd dat het schrijven (iets) langer duurt, maar het lezen gaat een pak sneller.
Nieuwe disks erin gedrukt en gaan met de banaan: 213 write en 391 read. Vaag dat schrijven op de zogenaamd snellere disks nét ietsje langzamer gaat, maar dat kan te maken hebben met het feit dat de oude disks 500Gb waren. Kleinere disks zijn in principe altijd wel wat sneller. Maar het is geen groot verschil, en misschien zie je met intensiever en wetenschappelijker testen andere verschillen.

Ik had mijn systeem aanvankelijk uitgerust met 2Gb geheugen en voor de overgang naar ZFS heb ik er 8Gb bij geprikt. Dat deed het systeem zonder ZFS ook al goed merkte ik. Ik had ineens een betere performance bij het kopiëren van de ene array naar de andere. Misschien iets voor mensen met NAS bouwplannen: liever 4Gb dan 2Gb, uiteraard afhankelijk van wat er allemaal nog meer gebeurt op het systeem.

Zijn er nog specifieke ZFS tweaks oid die de boel nog wat beter laten draaien of is dit gewoon een 'fire and forget' verhaal?

[Jormungandr]

Het plan om de hot spare als data disk toe te voegen aan men Raid5 array is duidelijk in het water gevallen. Je weet dat het een lange nacht wordt als je per abuis een dd met of=/dev/md0 doet . Protip: nooit met een tekort aan slaap configuraties aanpassen. Nu kan ik de hele dag het lost+found mapje doorploegen om alles te recupereren.

[FireDrunk]

Aj, das een zure...

[Jaccoh]

Ik ben opzoek naar wat advies. Ik draai nu een NAS op Ubuntu 12.04 en dat werkt ansich prima. Het is uitgerust met netatalk,nfs,iscsi,sickbeard,sabnzbd en couchpotato etc etc. Ware het niet dat ik gisteren tegen een groot probleem op liep.

De server is ingericht met 4 schijven. Elke schijf heeft 3 partities. SWAP, Root (ext4) en een RAID5 partitie. De root partitie zijn in RAID1 samengevat en de RAID5 partities in een raid5 uiteraard.

Nu het probleem, gisteren waren in eens 2 van de vier disken weg. Bij inspectie bleek dat mijn moederbord de schijven niet meer zag. Het blijkt een probleem in de onboard controller. Bij een powercycle zag hij de schijven weer.

Ik heb de raid sets kunnen repareren. Raid1 was natuurlijk eenvoudig want die had nog 2 schijven. De raid5 was helemaal naar de k..te. Ik heb de Raid5 gefixed door de partities te zero-superblocken en vervolgens een nieuwe raid5 te bouwen met --assume-clean. Daarna heb ik op de resulterende raid5 MD-device de partitie tabel opnieuw aangemaakt en toen zag LVM de zooi weer *eureka*.

Maar nu wil ik dit natuurlijk voorkomen in de toekomst. De schijven lijken prima in orde. Dus de oplossing is wellicht een nieuw moederbord en evt een losse controller ipv de onboard controller? Welk moederbord heeft genoeg sata aansluitingen en is zuinig en kan toch performance leveren?

Mijn eisen: performance maar zuinig. Ik zit nu aan FreeNAS 8.x te denken overigens.

Wie heeft er advies? De controller hoeft geen raid trucjes te doen want ik wil of software raid of ZFS met Raid-z.

[ Voor 3% gewijzigd door Jaccoh op 04-05-2012 15:30 ]

[FireDrunk]

Wat voor moederbord heb je? Want als je de onboard RAID modus niet gebruikt, en je SATA in AHCI draait zou de kans dat dit soort problemen voorkomen, minimaal moeten zijn. MD is wel gevoelig voor bad sectors, dus ook al ziet je moederbord de schijven weer, het kan nog steeds een probleem zijn. Je kan eens een goede SMART check doen om te kijken of daar misschien nog wat te vinden is.

[Jaccoh]

Ik heb nu een wat oudere foxconn g33m03

Ik zit te denken aan:

pricewatch: Asus E35M1-I

Het probleem was dat bij een boot de schijven niet gevonden werden. Smart gechecked en het ligt niet aan de schijven. Dus moet het een moederbord issue zijn. De server uit en weer aanzetten was de oplossing. Dat is natuurlijk super riskant en zeer ongewenst.

[ Voor 19% gewijzigd door Jaccoh op 04-05-2012 16:09 ]

[Dennisik]

Gaat lekker met me server.

Heb nog geen maand gered zonder dat ik hem naar boven moet gooien, omdat hij niet goed opstart of functioneert.

Nu knalde telkens weer 2 sata schijven eruit en kreeg ik een IO error.
Memtest voor de gein gedaan. En zo te zien al 4 failing address.
RMA dan maar weer.

Lag toch aan HD. Was al een brakke HD wist ik van te voren. Nu nog vervanging zoeken.
Memtest vond 4 foute 'sectoren' lijkt me niet schrikbarend veel voor 4GB.

[ Voor 21% gewijzigd door Dennisik op 05-05-2012 00:39 ]

[mphilipp]

Jaccoh schreef op vrijdag 04 mei 2012 @ 15:26:
Mijn eisen: performance maar zuinig. Ik zit nu aan FreeNAS 8.x te denken overigens.

FreeNAS is volgens mij (maar correct me if I'm wrong) niets meer dan een Linux distro die met MDADM raid setjes aanmaakt en via NFS/Samba et al beschikbaar stelt. Ik zie het verschil niet met een Ubuntu systeem waar je hetzelfde op doet. FreeNAS is misschien meer out of the box, maar dat is geen garantie voor probleemloos draaien. Als je een hardware issue hebt, ben je alsnog het bokje.
Ik heb in het begin een hoop problemen gehad die achteraf denk ik terug te herleiden zijn op een gare install, want ik heb nu een nieuwe installatie gedaan van Ubuntu en hij draait als een tierelier.

Als je voor veiligheid gaat, zou ik er een extra disk tegenaan gooien en voor RAID6 gaan. Ik heb dat nu ook want hoewel niet alle data heilig is, is een deel wel heel erg naar als ik het kwijt ben (en ja, ik heb nog een backup, maar toch). Uiteraard afhankelijk van hoe groot eea moet worden en hoeveel schijven je erin wilt stoppen.

Maar ik zie zelf de toegevoegde waarde van FreeNAS niet als je zelf al in staat bent om een Linux systeem in te richten en raid met mdadm op te zetten. Zo ingewikkeld is dat nou ook weer niet.

[FireDrunk]

Je bent in de war met OpenMediaVault. FreeNAS is gebaseerd op FreeBSD en heeft niets met Linux te maken (Behalve dat er misschien wat dezelfde pakketten op werken.)

Voordeel van FreeNAS is dat het ZFS bereikbaar maakt voor een nono. Maar dat kan ZFSGuru ook.

[MikeVM]

jimmy87 schreef op maandag 23 april 2012 @ 02:24:
Is die 80 met of zonder de modules? Zal dat eens bekijken. Nu nog een voeding zoeken met dat aantal, zal er een worden met verloop stukjes gok ik.

50 voor de case,
en ik heb nu voor 30 euro 2x4in3 modules besteld,

bij de case zaten al 2x 4in3 modules,
dus nu heb ik plaats voor 12 HDD's en nog massa ruimte voor modding.. (lees: meer hard drives)