[Gentoo] Fatsoenlijke disk spindown tool

[_eXistenZ_]

In mijn quest naar een disk spindown tool voor mijn Gentoo NAS heb ik al heel wat gezien, maar ik heb nog steeds niet gevonden wat lijkt op ngflushd (welke ik niet gecompiled krijg, moet Debian tools hebben die niet in Portage zitten)

Er zijn verschillende mogelijkheden, waaronder:

noflushd -> werkt niet met een journaling filesystem
ngflushd -> werkt hier wel mee maar krijg ik niet compiled
laptop_tools -> laten je disken elke 10 min weer opspinnen
smart_spindown -> vereist veel houtje-touwtje geknutsel voor ik hier 3 aparte arrays mee downgelegd heb, geen goeie oplossing.

Wie weet een goeie tool voor linux op de disken down te spinnen als ze niet nodig zijn, op een journaling filesystem? (Deze mag dan later schrijven zoals in deze tutorial...

[Seth4Chaos]

Ik gebruik zelf 'noflushd' op gentoo met een journaling FS en dat werkt prima. Het is alleen niet mijn system array maar mijn data array, die wordt dus minder geaccessed.

[deadinspace]

Waar haal je ngflushd vandaan, hoe compile je het, en wat gaat er mis? Misschien is het wel makkelijk te fixen zodat het compiled op jouw systeem.

[Donderwolk]

hdparm gebruik ik daarvoor onder Debian. Weet niet of dat ook draait onder Gentoo.

Zie deze wiki.
met hdparm -S kun je je disk een spindown laten uitvoeren.

[ Voor 51% gewijzigd door Donderwolk op 10-04-2008 16:10 ]

[_eXistenZ_]

Met hdparm of de genoemde tools alleen kom ik er niet omdat ik een journaling filesystem gebruik die om de zoveel tijd meuk wil schrijven. Het moet dus een tool zijn die de kernel parameters zo instelt dat ie het opspaart en eens per dag ofzo schrijft. ngflushd is er dus zo een maar die compiled dus niet omdat ik Debian shit nodig heb die voor Gentoo niet te krijgen is.

http://www.j-pfennig.de/ngflushd/index.html daar had ik m overigens vandaan.

[ Voor 33% gewijzigd door _eXistenZ_ op 10-04-2008 18:16 ]

[Rainmaker]

Mag ik vragen waar het fout gaat?

Ik heb hier even alleen een RHEL workstation, maar daar compiled de source prima op:

code:

[tmp]# make
make[1]: Entering directory `/tmp/ngflushd'
gcc -Wall -O3 -fmessage-length=128 -finline-limit=80 -march=pentium3 -c -o ../tmp/ngflushd.o ngflushd.c
gcc -Wall -O3 -fmessage-length=128 -finline-limit=80 -march=pentium3 -c -o ../tmp/daemon.o daemon.c
gcc -Wall -O3 -fmessage-length=128 -finline-limit=80 -march=pentium3 -c -o ../tmp/fstype.o fstype.c
gcc -Wall -O3 -fmessage-length=128 -finline-limit=80 -march=pentium3 -c -o ../tmp/spindn.o spindn.c
gcc -Wall -O3 -fmessage-length=128 -finline-limit=80 -march=pentium3 -c -o ../tmp/helper.o helper.c
gcc -Wall -g -o ../bin/ngflushd ../tmp/ngflushd.o ../tmp/daemon.o ../tmp/fstype.o ../tmp/spindn.o ../tmp/helper.o
make[1]: Leaving directory `/tmp/ngflushd'

Ik zie ook geen ./configure waar ie op af kan ketsen...

En de binary draait ook:

code:

[tmp]# cd bin/
[bin]# ls
ngflushd
[bin]# ./ngflushd
ngflushd: Don't know what to do. Try 'ngflushd -h' for usage information.
[bin]# ./ngflushd -h
Usage: ngflushd [-h] [-c cmd] [-d] [-j opt] [-p file] [-s val] [-v] [-x] [-z msk]
                [-x disk]... [ [-l limit] [-m max] [-t time] [-i disk|-a]... ]...

  -c  Send command to the running daemon; see below
...

[ Voor 18% gewijzigd door Rainmaker op 10-04-2008 20:38 ]

[DirkT]

Wat is er precies mis met die gentoo wiki? zoveel houtje touwtje is het toch niet?

Het ziet er meer uit als een copy paste actie en gaan met die banaan

[Rainmaker]

* Rainmaker is weer thuis

Nu onder Gentoo:

code:

Medusa tmp % make
make[1]: Map '/tmp/ngflushd' wordt binnengegaan
gcc -Wall -O3 -fmessage-length=128 -finline-limit=80 -march=pentium3 -c -o ../tmp/ngflushd.o ngflushd.c
ngflushd.c:1: fout: CPU you selected does not support x86-64 instruction set

hmmm,

code:

vi Makefile

MK_CPPARCH = pentium3

"pentium3" veranderd naar "native"

code:

Medusa tmp % make
make[1]: Map '/tmp/ngflushd' wordt binnengegaan
gcc -Wall -O3 -fmessage-length=128 -finline-limit=80 -march=native -c -o ../tmp/ngflushd.o ngflushd.c
gcc -Wall -O3 -fmessage-length=128 -finline-limit=80 -march=native -c -o ../tmp/daemon.o daemon.c
gcc -Wall -O3 -fmessage-length=128 -finline-limit=80 -march=native -c -o ../tmp/fstype.o fstype.c
fstype.c: In functie ‘fsys_update’:
fstype.c:587: let op: passing argument 2 of ‘part_options’ discards qualifiers from pointer target type
gcc -Wall -O3 -fmessage-length=128 -finline-limit=80 -march=native -c -o ../tmp/spindn.o spindn.c
gcc -Wall -O3 -fmessage-length=128 -finline-limit=80 -march=native -c -o ../tmp/helper.o helper.c
gcc -Wall -g -o ../bin/ngflushd ../tmp/ngflushd.o ../tmp/daemon.o ../tmp/fstype.o ../tmp/spindn.o ../tmp/helper.o 
make[1]: Map '/tmp/ngflushd' wordt verlaten

Oftewel: compiled prima.

Medusa tmp % ./bin/ngflushd
ngflushd: Don't know what to do. Try 'ngflushd -h' for usage information.

En runt prima

Je hebt ook geen Debian libs nodig:

code:

Medusa tmp % ldd bin/ngflushd 
    linux-vdso.so.1 =>  (0x00007fff0f9fe000)
    libc.so.6 => /lib/libc.so.6 (0x00002b379b33c000)
    /lib64/ld-linux-x86-64.so.2 (0x00002b379b120000)

[ Voor 8% gewijzigd door Rainmaker op 11-04-2008 00:24 ]

[Donderwolk]

_eXistenZ_ schreef op donderdag 10 april 2008 @ 18:14:
Met hdparm of de genoemde tools alleen kom ik er niet omdat ik een journaling filesystem gebruik die om de zoveel tijd meuk wil schrijven. Het moet dus een tool zijn die de kernel parameters zo instelt dat ie het opspaart en eens per dag ofzo schrijft. ngflushd is er dus zo een maar die compiled dus niet omdat ik Debian shit nodig heb die voor Gentoo niet te krijgen is.

http://www.j-pfennig.de/ngflushd/index.html daar had ik m overigens vandaan.

Je hebt gelijk. Ik heb dat op mijn eigen server opgelost door /var bij startup vanaf hdd naar ramdisk te verhuizen en bij shutdown weer terug naar hdd. Dat kan bij mij omdat er geen kritische apps draaien.
MySQL wordt er wel mooi snel van iig door de lage access times.

[Elijan9]

Ehm, welk journaling filesystem gebruik je dan?

Donderwolk schreef op vrijdag 11 april 2008 @ 10:10:
[...]


Je hebt gelijk. Ik heb dat op mijn eigen server opgelost door /var bij startup vanaf hdd naar ramdisk te verhuizen en bij shutdown weer terug naar hdd. Dat kan bij mij omdat er geen kritische apps draaien.
MySQL wordt er wel mooi snel van iig door de lage access times.

Dan zou ik als ik jou was een constructie gebruiken met unionfs of aufs, dan hoef je niks naar ramdisk te verhuizen, maar doet 'ie copy-on-write. En dan na afloop inderdaad weer terugschrijven, maar dat kost minder tijd, omdat niet veranderde zaken niet teruggeschreven hoeven te worden.

[_eXistenZ_]

SantjeS schreef op donderdag 10 april 2008 @ 22:49:
Wat is er precies mis met die gentoo wiki? zoveel houtje touwtje is het toch niet?

Het ziet er meer uit als een copy paste actie en gaan met die banaan

Om 4 disks te kunnen moet ik het ding 4 keer starten, moet weer allemaal scripten enzo... Liever niet want het moet stabiel blijven ook. (Staat ook nergens garantie dat raid5 werkt)

Kudos voor Rainmaker, dit werkt inderdaad... Stom dat ik niet verder gekeken heb...

[Donderwolk]

Hmmm misschien had ik wat meer uitleg moeten geven. Ik heb debian draaien op een Compact Flash disk. (ext3) Daarnaast zit er nog een hdd in waar shared files op staan. (reiser4) Die laatste laat ik automatisch na 5 mins een spindown uitvoeren.
Om het aantal write cycles wat te beperken heb ik /var maar in ram geplaatst.

Misschien niet de meest ideale oplossing maar ik heb me er iig even leuk op kunnen uitleven.
unionfs en aufs ken ik niet, zal ik eens naar kijken.

[ Voor 6% gewijzigd door Donderwolk op 11-04-2008 15:50 ]

[Elijan9]

Donderwolk schreef op vrijdag 11 april 2008 @ 15:41:
Hmmm misschien had ik wat meer uitleg moeten geven. Ik heb debian draaien op een Compact Flash disk. (ext3) Daarnaast zit er nog een hdd in waar shared files op staan. (reiser4) Die laatste laat ik automatisch na 5 mins een spindown uitvoeren.
Om het aantal write cycles wat te beperken heb ik /var maar in ram geplaatst.

Misschien niet de meest ideale oplossing maar ik heb me er iig even leuk op kunnen uitleven.

Als er niks geschreven is, heeft een filesystem ook niets weg te schrijven, dat geldt ook namelijk ook gewoon voor journaling filesystems zoals reiser4 en ext3. Blijkbaar is er iets wat toch nog weg wil schrijven naar disk. Ik weet niet hoe handig je bent, maar de linux kernel source heeft in Documentation/laptop-mode.txt aan het einde de sourcecode staan voor een Disk Sleep monitor (dslm.c). Deze kun je gebruiken om via de kernel te achterhalen wat er allemaal toch schrijft naar jouw harddisk...

Voor ext3 kun je aan de mount de optie "commit=<sec>" meegeven, dat wil zeggen dat er pas een commit wordt uitgevoerd van alle verzamelde schrijfoperaties in een keer, na <sec> seconden (staat ook in de tutorial waarnaar je verwijst).

Ik denk wel dat smart_spindown de beste benadering heeft trouwens...

[Donderwolk]

Elijan9 schreef op vrijdag 11 april 2008 @ 16:09:
[...]
Deze kun je gebruiken om via de kernel te achterhalen wat er allemaal toch schrijft naar jouw harddisk...

Wat omslachtig. Je kunt ook gewoon find -amin/-cmin of -atime/-ctime gebruiken om te achterhalen welke files voor een spin-up zorgen.

[Elijan9]

Donderwolk schreef op vrijdag 11 april 2008 @ 16:14:
[...]


Wat omslachtig. Je kunt ook gewoon find -amin/-cmin of -atime/-ctime gebruiken om te achterhalen welke files voor een spin-up zorgen.

Wat omslachtig: dat je atime stamps nog aan hebt staan... Dat wil namelijk zeggen dat er voor elke van een (al dan niet gecache-de) read dus ook (in de regel) naar de schijf moet worden geschreven. Zonde van jouw compactflash kaart...

Trouwens, niet elke verandering van een atime/ctime op filesystem-layer niveau heeft als gevolg dat er een fysieke schrijfoperatie plaatsvindt, en ook niet andersom. Dat is waar dslm dus om de hoek komt kijken.

[Donderwolk]

Elijan9 schreef op vrijdag 11 april 2008 @ 16:24:
[...]

Wat omslachtig: dat je atime stamps nog aan hebt staan... Dat wil namelijk zeggen dat er voor elke van een (al dan niet gecache-de) read dus ook (in de regel) naar de schijf moet worden geschreven. Zonde van jouw compactflash kaart...

Trouwens, niet elke verandering van een atime/ctime op filesystem-layer niveau heeft als gevolg dat er een fysieke schrijfoperatie plaatsvindt, en ook niet andersom. Dat is waar dslm dus om de hoek komt kijken.

Ok dat wist ik niet. Bedankt voor de tip, ik zal dit topic niet langer kapen.

[_eXistenZ_]

Iig, nu ngflush werkt, en ik hier een initscriptje voor gemaakt heb, wordt ik nog steeds gereld door de systeemdisk (md2) die blijft checken op integriteit oid.

Ik heb laptop-mode-tools emerged om lm-profiler te kunnen gebruiken (tool om hdd usage in kaart te brengen), en daar komt nu dit uit :

code:

# lm-profiler
Profiling run started.
Accesses at 8/600 in run: md2_raid5 reiserfs/1
Accesses at 38/600 in run: md2_raid5 reiserfs/0
Accesses at 41/600 in run: apache2 mysqld
Accesses at 67/600 in run: md2_raid5 reiserfs/0
Accesses at 97/600 in run: md2_raid5 reiserfs/0
Accesses at 127/600 in run: md2_raid5 reiserfs/0
Accesses at 156/600 in run: md2_raid5 reiserfs/0
Accesses at 186/600 in run: md2_raid5 reiserfs/1
Accesses at 215/600 in run: md2_raid5 reiserfs/1
Accesses at 245/600 in run: md2_raid5 reiserfs/1
Accesses at 274/600 in run: md2_raid5 reiserfs/0
Accesses at 304/600 in run: md2_raid5 reiserfs/0
Accesses at 333/600 in run: md2_raid5 reiserfs/1
Accesses at 363/600 in run: md2_raid5 reiserfs/1
Accesses at 392/600 in run: md2_raid5 reiserfs/0
Accesses at 422/600 in run: md2_raid5 reiserfs/0
Accesses at 451/600 in run: md2_raid5 reiserfs/0
Accesses at 480/600 in run: md2_raid5 reiserfs/1
Accesses at 509/600 in run: md2_raid5 reiserfs/0
Accesses at 538/600 in run: md2_raid5 reiserfs/0
Accesses at 567/600 in run: md2_raid5 reiserfs/0
Accesses at 596/600 in run: md2_raid5 reiserfs/1
Profiling run completed.

Program:     "reiserfs/1"
Reason:      disk access.
Init script: none
If you want to disable this program, you should do so manually.

Program:     "reiserfs/0"
Reason:      disk access.
Init script: none
If you want to disable this program, you should do so manually.

Hoe zorg ik er voor dat er geen toffe dingen gechecked worden als de zaak eigenlijk idle moet zijn?
Ik gebruik dus ReiserFS op software raid5 met noatime al gezet.

[laurencevde]

laptop_mode aanzetten. nu je laptop-mode-tools geinstalleerd hebt staan, heb je in /etc/laptop-mode/laptop-mode-tools de configuratie staan, 1 van de opties is max commit tijd, en dat zou alles moeten doen wat je nodig hebt. Ding doet ook ander power-management, maar dat heb je (denk ik zo) niet nodig. Daarna nog /etc/init.d/laptop_mode aanslingeren, en (hopelijk) klaar.

Even voor de duidelijkheid: laptop_mode is een kernel-instelling die wat zaken op kernel-niveau regelt, zodat de schijf uit kan blijven.

[RemcoDelft]

Ik gebruik altijd gewoon hdparm:

cat /etc/conf.d/local.start
/sbin/hdparm -S 60 /dev/hda

Dit zet de disk na 5 minuten uit. Dit gebruik ik alleen niet voor mijn systeemdisk, om het daar voor elkaar te krijgen is erg lastig met logfiles e.d.
Met ext2 moet het wel mogelijk zijn om disk-flushes uit te schakelen, met ReiserFS (mijn favoriet) niet. Vandaar dat ik mijn systeemdisk gewoon laat draaien, wat ook qua snelheid wel fijn is, en alle andere disken mogen uit gaan zolang ik ze niet gebruik.

[_eXistenZ_]

laurencevde schreef op zaterdag 12 april 2008 @ 19:56:
laptop_mode aanzetten. nu je laptop-mode-tools geinstalleerd hebt staan, heb je in /etc/laptop-mode/laptop-mode-tools de configuratie staan, 1 van de opties is max commit tijd, en dat zou alles moeten doen wat je nodig hebt. Ding doet ook ander power-management, maar dat heb je (denk ik zo) niet nodig. Daarna nog /etc/init.d/laptop_mode aanslingeren, en (hopelijk) klaar.

Even voor de duidelijkheid: laptop_mode is een kernel-instelling die wat zaken op kernel-niveau regelt, zodat de schijf uit kan blijven.

Of je leest even dat die je schijven steeds laten opspinnen en dat ik m daarom niet gebruik...

RemcoDelft schreef op zaterdag 12 april 2008 @ 20:00:
Ik gebruik altijd gewoon hdparm:

cat /etc/conf.d/local.start
/sbin/hdparm -S 60 /dev/hda

Dit zet de disk na 5 minuten uit. Dit gebruik ik alleen niet voor mijn systeemdisk, om het daar voor elkaar te krijgen is erg lastig met logfiles e.d.
Met ext2 moet het wel mogelijk zijn om disk-flushes uit te schakelen, met ReiserFS (mijn favoriet) niet. Vandaar dat ik mijn systeemdisk gewoon laat draaien, wat ook qua snelheid wel fijn is, en alle andere disken mogen uit gaan zolang ik ze niet gebruik.

Ook mij mag even lezen... Bij mij staat mijn systeemdisk in raid5 over alle schijven dus het moet ook daarop kunnen.

[laurencevde]

Of jij leest dat configuratie-bestand even door, en ziet een hele mooie "LM_AC_MAX_LOST_WORK_SECONDS=360" staan. Als er spul naar de hd geschreven moet worden wacht-ie maximaal zo lang om dat te doen. Je wilt ook wel dat dat ooit op de hd terechtkomt.
En een stuk verderop: "LM_DIRTY_RATIO=60" . Boven dat percentage aangepaste data wordt er ook een schrijfactie gepleegd, totdat dat weer onder "LM_DIRTY_BACKGROUND_RATIO=1" ligt.

Laptop-mode-tools verandert enkel wat kernel-instellingen (en mountopties), die sowieso nodig zijn om van een uitstaande schijf te kunnen genieten. Standaard wacht de kernel bijv. helemaal niet/nauwelijks met schrijfacties.
1 van de belangrijkste aangepaste opties is /proc/sys/vm/laptop_mode. Die zou oa wat van die regelmatige journal-commits uitzetten. Deze instellingen zijn zowat noodzakelijk om een schijf überhaubt te kunnen laten downspinnen...
laptop-mode-tools is dus ook niet helemaal gelijk aan laptop_mode...

Een hele andere mogelijkheid is je systeempartitie ro mounten, en het nodige mbv unionfs/aufs/tmpfs in een geheugenpartitie zetten. Ikzelf doe dat bijv. met m'n logs(en die laat ik logrotate naar m'n hd verplaatsen, zo eens per dag).

[ Voor 12% gewijzigd door laurencevde op 12-04-2008 22:08 ]

[Keeper of the Keys]

offtopic:
Wat is beter voor de schijf constant aan zijn of eens in de X minuten moeten opspinnen?

[RemcoDelft]

_eXistenZ_ schreef op zaterdag 12 april 2008 @ 20:06:
[...]
Ook mij mag even lezen... Bij mij staat mijn systeemdisk in raid5 over alle schijven dus het moet ook daarop kunnen.

In dat geval: wat is het nut van raid gebruik als je de disken steeds wilt laten opspinnen? Dat kost je langer dan een iets tragere disk gebruiken...

[begintmeta]

't is dan wel geen gentoo-vraag, maar dit is denk ik wel het meest recente topic waar mijn vraag bij aansluit.

Hoe kan ik de schijf langere perioden standby laten gaan? Ik gebruik ubuntu 8.10 met apache+php, postgresql, openldap, postfix en dovecot waarbij er niet veel activiteit is. Maar /var wordt wel gebruikt natuurlijk. /dev, /var/lock en /var/run zitten op tmpfs, / en /usr zitten of een flash-schijf, dus dat maakt weinig lawaai&gebruikt weinig stroom (maar ik wil wel de writes binnen de perken houden), de rest zit op een 3.5" hdd, die moet dus ook niet al te vaak worden downgespint. de bestandssystemen op de hdd zijn swap (wordt nauwelijks gebruikt) en ext3 (/home, /var, /tmp dus).

ngflushd spint het zo'n 7 keer per dag down, maar de tijd is ongeveer 1%, hoe kan ik de boel wat beter laten werken?

[Rainmaker]

Begin eens met te kijken welke bestanden het laatst ge'accessed zijn.

Iets van find / -mtime 1, of als je atime aan hebt staan, -atime.

[begintmeta]

De laatste files die gewijzigd zijn zijn (zals verwacht) vooral logfiles.

Ook heb ik even met lsof gekeken: op de /home-partitie is de directory van de huidige gebruiker open, op de /var-partitie staat van alles open met name in /var/log/ /var/spool en /var/lib.

Ik ga nu eerst even alle daemons uitschakelen en dan weer met ngflushd proberen en daarnaast kijken wat welke daemon doet...

[ Voor 3% gewijzigd door begintmeta op 11-12-2008 15:07 ]