10 disk array gaat niet meer in spindown

[HyperBart]

Ik heb gemerkt dat sinds een aantal dagen/weken (geen idee) mijn disks niet meer in spindown gaan. Vziw is er niets grondig veranderd aan mijn server dat dit kan veroorzaken volgens mij, buiten dat CouchPotato natuurlijk automagisch updated. Verder heb ik ook een tooltje genaamd scrub geïnstalleerd (niet te verwarren met de zfs scrub) om een aantal disks van FireDrunk te wipen die er trouwens ook nog altijd aanhangen...

Ik heb een NAS gebaseerd op Ubuntu en daar 10 disks in RAIDZ2 onder. In tegenstelling tot vroeger toen hier een VMware clustertje draaide is er niets meer wat constant actief de NAS gebruikt.

Ik heb nu al maar Sick Beard, Couchpotato en Sonarr even volledig gestopt. Het enige wat nu draait is Sabnzbd.

Voor je denkt "ja maar, die accessen toch altijd de disks, dus dat is toch normaal dat die opspinnen(?)"; dat moet niet per se want ik heb de secondarycache op metadata staan:

root@nas:/home/bart# zfs get all stavanger/Video | grep cache
stavanger/Video  primarycache          all                    default
stavanger/Video  secondarycache        metadata               received

root@nas:/home/bart# zfs get all stavanger/VideoSonarr | grep cache
stavanger/VideoSonarr  primarycache          all                        default
stavanger/VideoSonarr  secondarycache        metadata                   local

Dit is al tijden gevalideerd en ik raad het mensen ook aan, dus dat weet ik dat dat werkt met die secondarycache, ik begrijp alleen niet wat er de laatste dagen/weken gebeurd is waardoor de disks niet meer downspinnen...

Spindown wordt verder geregeld via hdparm.conf waar ik volgende lijntjes in heb staan:

command_line {
hdparm -S 240 /dev/disk/by-partlabel/disk1-SNNUMMER
hdparm -S 240 /dev/disk/by-partlabel/disk2-SNNUMMER
hdparm -S 240 /dev/disk/by-partlabel/disk3-SNNUMMER
hdparm -S 240 /dev/disk/by-partlabel/disk4-SNNUMMER
hdparm -S 240 /dev/disk/by-partlabel/disk5-SNNUMMER
hdparm -S 240 /dev/disk/by-partlabel/disk6-SNNUMMER
hdparm -S 240 /dev/disk/by-partlabel/disk7-SNNUMMER
hdparm -S 240 /dev/disk/by-partlabel/disk8-SNNUMMER
hdparm -S 240 /dev/disk/by-partlabel/disk9-SNNUMMER
hdparm -S 240 /dev/disk/by-partlabel/disk10-SNNUMMER
}

Tot voor kort werkte dit dus prima...

Heeft er iemand een kleine oneliner of een ander idee waarmee ik kan laten outputten welk proces mijn disks wekt?

Met 10 disks in een RAIDZ2 stijgt het verbruik zo maar even van een aangename 65W naar 116W... . Om dat heel de tijd draaiende te hebben...

[Verwijderd]

Exporteer je ZFS pool om te kijken of het toch niet stiekem I/O is. Met je pool exported zouden je disks geen I/O meer mogen krijgen.

[HyperBart]

Dat is nu ook wel heel drastisch CiPHER, klinkt een beetje cru maar nogal wiedes dat de pool dan in spindown gaat als er het logische lijntje afgeknipt wordt tussen de de disks en het FS, dan kan er niemand meer naar schrijven en gaan de disks sowieso in spindown (of er moet opeens iets mis zijn met dat commando te geven, maar ik heb quasi exact hetzelfde commando in een alias staan, en dat werkt prima).

hdparm -y /dev/disk/by-partlabel/disk*

Bovenstaande commando zorgt er netjes voor dat de disks downspinnen, dus ik verwacht daar ook geen issues mee.

Ik heb nu de disks een manuele spin down gegeven, volgens mij spinnen ze zo terug op door "iets", maar ik wil het nu even zeker weten terwijl SB, CP en Sonarr af staan... Heb de HTPC ook even uitgetrokken en hou het doorheen de avond even in de gaten. Manuele spindown heeft eigenlijk ook geen nut, want als er weinig IO is zou dat sowieso vanzelf moeten gebeuren. Er is dus iets wat dus telkens binnen het bereik van 20 minuten (-S 240 staat gelijk aan 20 min want 5 seconden maal 240) iets van IO doet waardoor de disks niet down gaan.

[ Voor 35% gewijzigd door HyperBart op 13-09-2015 18:09 ]

[FireDrunk]

lsof | grep <poolnaam> ?

[HyperBart]

FireDrunk schreef op zondag 13 september 2015 @ 19:59:
lsof | grep <poolnaam> ?

Gaf voorlopig het volgende terug:

root@nas:/home/bart# lsof | grep stavanger
smbd 1154 root cwd DIR 0,33 6 4 /stavanger/Video
smbd 1154 root 31r DIR 0,33 865 12962 /stavanger/Video/Movies
smbd 1154 root 34r DIR 0,33 865 12962 /stavanger/Video/Movies
smbd 1154 root 35r DIR 0,33 6 4 /stavanger/Video

Even een smbd restart gedaan, hou het weer even in de gaten. Wel speciaal want niets of niemand nam op dat moment toegang tot die 4 endpoints.

[gekkie]

Ook geen windows client die bijvb voor een overzichtje graag de free-diskspace wil weten ?
(danwel serverstatistiek die dat interessant vindt om te loggen)

[ Voor 26% gewijzigd door gekkie op 13-09-2015 20:11 ]

[Verwijderd]

@HyperBart: is toch gewoon om te verifiëren dat het inderdaad aan I/O ligt, en niet dat je spindown commands überhaupt niet werken? Het was niet bedoeld als permanente oplossing.

[FireDrunk]

Stop Smaba eens voor de grap, dan weet je het snel genoeg

[HyperBart]

gekkie schreef op zondag 13 september 2015 @ 20:10:
Ook geen windows client die bijvb voor een overzichtje graag de free-diskspace wil weten ?
(danwel serverstatistiek die dat interessant vindt om te loggen)

Geloof het of niet, geen Windows clients hier meer sinds mijn jobwissel . Om wat concreter te zijn: er is nu op dit moment niets anders meer in mijn netwerk dan een MacBook van mijn vrouw (waar ik dit op aan het typen ben en die had in finder nog een venstertje openstaan van Movies), HTPC die afstaat en de NAS boven...

[ Voor 26% gewijzigd door HyperBart op 13-09-2015 20:16 ]

[Verwijderd]

Lang leve gstat op BSD trouwens. Dat is wat ik gebruik om de I/O te monitoren.

[FireDrunk]

Linux variant heet iotop...

[HyperBart]

Ik heb samba een paar keer herstart, en ik zag redelijk snel terug een sessie opduiken naar Video.

Via sambastatus kwam ik er op uit dat er nog een connectie lag van de MacBook die na een tijdje heropend werd.

Ik heb die connectie even gesloten en ben het nu verder in de gaten aan het houden...

[gekkie]

Je had ook willekeurige samba-client mogen lezen

[HyperBart]

Sinds mijn laatste post alleen nog maar traditionele TV gekeken en even uit huis geweest; disks staan nog altijd in spin up...

[Q]

- Als je de spindown tijd op 30 of misschien 5 seconden zet, gaan de disks dan überhaupt wel in spindown? Heb je dat bevestigd? Heb je de disks ooit nog wel in spindown gezien/gehoord?

- Kill eens alle services nadat je een standby tijd van 30 of 5 seconden hebt ingeschakeld. Inclusief SSH, wat dan ook, syslog, alles.

- Trek het netwerk eens los fysiek / of laat een tcpdump luisteren?

[HyperBart]

Q schreef op maandag 14 september 2015 @ 00:42:
- Als je de spindown tijd op 30 of misschien 5 seconden zet, gaan de disks dan überhaupt wel in spindown?

Zal ik eens proberen, dan zijn we zeker dat het concept van automatische spindown an sich wel werkt...

Heb je dat bevestigd? Heb je de disks ooit nog wel in spindown gezien/gehoord?

Manueel wel, daar ben ik zeker van. Ik heb ze alleen niet meer automatisch zien gaan.

- Kill eens alle services nadat je een standby tijd van 30 of 5 seconden hebt ingeschakeld. Inclusief SSH, wat dan ook, syslog, alles.

Will do, ga ik eens na die short spindown time doen.

- Trek het netwerk eens los fysiek / of laat een tcpdump luisteren?

Na de services stop zal ik dit ook eens proberen. Ik heb IPMI dus kan de machine van op afstand uitlezen.

[HyperBart]

Disks gaan met 2 minuten time out netjes automatisch in spindown, maw de automatische downspin logica werkt nog...

[Q]

Dat is ieder geval een mooie basis om verder te zoeken. Er is fundamenteel niets mis.

[Verwijderd]

Ik ben de laatste weken ook bezig met het vinden van de juiste spindown manier. Helaas krijg ik het tot heden nooit lekker aan de praat.

Ik heb Apache2 en sabnzb draaien. Sickbeard,couchpotato, etc kill ik zo vaak mogelijk. S'nachts bijvoorbeeld. In de ochten staan die services een paar uurtjes aan en dan gaat tot heden prima.

Het gaat mij er mij voornamelijk om dat de schijven s'nachts in spindown gaan. Automatisch zoals jij aangeeft werkt bij mij ook zelden. Uiteindelijk heb ik nu een scriptje gemaakt welke ik elke uur afvuur vanuit cron.

code:

if hdparm -C /dev/sdc | grep -q 'active'; then
 echo "Disks are active. Forcing spindown..."
 hdparm -y /dev/sdb
 hdparm -y /dev/sdc
 hdparm -y /dev/sdd
 hdparm -y /dev/sde
 hdparm -y /dev/sdf
 hdparm -y /dev/sdg
 hdparm -y /dev/sdh
 hdparm -y /dev/sdi
 hdparm -y /dev/sdj
 hdparm -y /dev/sdk
 hdparm -y /dev/sdl
 hdparm -y /dev/sdm
 hdparm -y /dev/sdn
 hdparm -y /dev/sdo
 hdparm -y /dev/sdp
 hdparm -y /dev/sdq
else
 echo "Harddisks already in spindown"
fi

Very dirty, but it works. Tijdens de nachtelijke uren maar ~90watt ipv ~160.

[The Fatal]

hier sinds een paar weken ook problemen met downspinnen van een paar HDD's.
(als het in een apart topic moet dan hoor ik het graag)

HDD's werden altijd mooi ge-downspinned via HD-IDLE.
Dit is alleen eind juli gestopt om een of andere redenen welke ik nog niet kan vinden.
stukje logging

code:

date: 2015-07-25, time: 22:26:58, disk: sdc, running: 1984, stopped: 3420
date: 2015-07-26, time: 10:56:59, disk: sdc, running: 1801, stopped: 43200
date: 2015-07-26, time: 11:57:00, disk: sdc, running: 1981, stopped: 1620
date: 2015-07-26, time: 13:12:01, disk: sdc, running: 2161, stopped: 2340
date: 2015-07-26, time: 14:57:02, disk: sdc, running: 1981, stopped: 4320
date: 2015-07-26, time: 21:39:04, disk: sdc, running: 1982, stopped: 22140
date: 2015-07-27, time: 20:54:10, disk: sdc, running: 2165, stopped: 81541
date: 2015-07-28, time: 19:27:11, disk: sdc, running: 2161, stopped: 79020
date: 2015-07-29, time: 19:57:18, disk: sdc, running: 1987, stopped: 86220
date: 2015-07-29, time: 20:57:22, disk: sdc, running: 1984, stopped: 1620
date: 2015-07-29, time: 22:00:25, disk: sdc, running: 1983, stopped: 1800
date: 2015-07-30, time: 17:42:31, disk: sdb, running: 1808, stopped: 418894
date: 2015-07-30, time: 17:42:32, disk: sdc, running: 1986, stopped: 68941

Als ik via hd-parm -y /dev/sdb of sdc commando geef, dan gaat de hdd mooi down. Dus ook hier lijkt weinig mis te zijn.

Heb gekeken of er ergens een app bleef hangen of dat er veel I/O gebruikt werd maar dat kan ik niet vinden:
via IOSTAT
Total DISK READ : 0.00 B/s | Total DISK WRITE : 0.00 B/s
Actual DISK READ: 0.00 B/s | Actual DISK WRITE: 0.00 B/s

DStat geprobeerd omdat ik dan per disk kan kijken:

code:

homenetnas@HomeNetNas:~$ sudo dstat -D sdb
You did not select any stats, using -cdngy by default.
----total-cpu-usage---- --dsk/sdb-- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw 
  1   0  98   1   0   0|2565B    4B|   0     0 |   0     0 |  72   452 
  0   0 100   0   0   0|   0     0 |  70B  846B|   0     0 |  44    90 
  0   0  99   1   0   0|   0     0 |  70B  366B|   0     0 |  43    94 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  39    71 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    64 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  32    62 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  41    83 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  38    78 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  37    71 
  5   1  95   0   0   0|   0     0 |  70B  366B|   0     0 |  89   133 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  40    73 
  0   0 100   0   0   1|   0     0 |  70B  366B|   0     0 | 336    95 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    70 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    71 
  0   0 100   0   0   0|   0     0 | 230B  366B|   0     0 |  43    86 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  33    64 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  40    76 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  38    81 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  39    77 
  0   0 100   0   0   0|   0     0 | 410B  366B|   0     0 |  46    88 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    62 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  39    74 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  37    76 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    71 
  1   0 100   0   0   0|   0     0 | 334B  366B|   0     0 |  40    82 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  38    70 
  0   0  99   1   0   0|   0     0 |  70B  366B|   0     0 |  49    86 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  48   114 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    75 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  40    76 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    66 
  0   0  99   1   0   0|   0     0 |  70B  366B|   0     0 |  78   116 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  52   114 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    67 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    66 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    70 
  0   0 100   1   0   0|   0     0 |  70B  366B|   0     0 |  41    84 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    74 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    67 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  47    88 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    66 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    68 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  37    74 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    75 
  0   1 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    65 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  31    64 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  59    80 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  39    82 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  33    64 
  0   0 100   0   0   0|   0     0 | 410B  366B|   0     0 |  38    71 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  33    70 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  47    93 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  37    72 
----total-cpu-usage---- --dsk/sdb-- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw 
  0   0 100   0   0   0|   0     0 | 262B  476B|   0     0 |  39    77 
  0   0 100   0   0   0|   0     0 | 210B  972B|   0     0 |  37    78 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    68 
  0   0 100   1   0   0|   0     0 |  70B  366B|   0     0 |  44    93 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  38    78 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  38    74 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    68 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  46    88 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    68 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  37    74 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    69 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    64 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  32    66 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    70 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  44    86 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    65 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  40    77 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    68 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  44    90 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    72 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    71 
  0   0 100   0   0   0|   0     0 | 358B  366B|   0     0 |  45    78 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    64 
  0   0  99   1   0   0|   0     0 |  70B  366B|   0     0 |  42    86 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    75 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    69 
  0   0 100   0   0   0|   0     0 | 410B  366B|   0     0 |  47    91 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    68 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    68 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  43    82 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    69 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    62 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  37    72 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  38    72 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  51   114 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  37    76 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  36    69 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    66 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  53    98 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  42   104 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    67 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    66 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    70 
  0   0 100   1   0   0|   0     0 | 198B  366B|   0     0 |  45    90 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  36    74 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  34    67 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    68 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    68 
  0   0 100   0   0   0|   0     0 | 180B  436B|   0     0 |  38    70 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  37    78 
  0   0 100   0   0   0|   0     0 | 198B  366B|   0     0 |  42    77 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  35    62 
  0   0 100   0   0   0|   0     0 |  70B  366B|   0     0 |  32    62

Hier is dus geen disk activiteit te zien.

Heeft iemand meer ideeën die gecontroleerd kunnen worden?

[HyperBart]

Ondertussen de boosdoener gevonden, het was de Mac van de vrouw die telkens een nieuwe sessie of IO veroorzaakte. Dingetje gereboot en all was well..

[gekkie]

Toch een client dus