[RRDTool] _echt_ simpel graphing

[FireDrunk]

Omdat ik op mijn NAS (ZFSGuru / FreeBSD) in kaart wil brengen hoe vaak en hoe lang mijn disks in standby gaan, heb ik geprobeerd om RRDtool aan de gang te krijgen.

Wat ik voor geen meter snap is waarom ik niet gewoon kan zeggen dat rrdtool *niet* moet aggregeren.
Ik heb een klein sh scriptje waarmee je in principe een waarde terug krijg of een disk uit is of niet.
Als parameter kan je een disk meegeven (nog in de maak, maar dat is in principe het doel).

Je krijgt gewoon 0 of 1 terug. Ik wil periodiek (elke 30 seconden) alle schijven pollen en die waardes opslaan.

Al deze waardes wil ik een week bewaren.

Daarnaast wil ik grafieken genereren voor elke dag, en eventueel voor de hele week, maar per dag is in principe voldoende.

Als ik een aantal howto's bekijken, moet ik perse aggregeer functies gebruik en rrdtool gemiddeldes laten berekenen. Dat wil ik helemaal niet, ik wil gewoon pieken zien. Er is helemaal niets te aggregeren, ik wil gewoon alle data opslaan.

Iemand die kan helpen / duidelijkheid kan verschaffen?

[Wolfboy]

Het RRD dataformaat is gebaseerd op aggregatie. Daar kan je niet omheen.

De bestanden blijven klein/handelbaar daardoor, anders zou je namelijk alle datapunten moeten opslaan en dat is trager/groter. Je kan eventueel natuurlijk de resolutie verhogen waarmee je het misschien niet meer merkt.

[ThinkPad]

Ik heb zo'n idee dat ik de plank misschien mis sla, maar wil je het perse met RRDTool doen? Kun je de NAS niet uitlezen met MRTG / PRTG ?

[ Voor 27% gewijzigd door ThinkPad op 06-01-2013 16:39 ]

[FireDrunk]

RRD maakt mooie grafiekjes. Nou kan ik die zelf wel gaan proberen te bouwen met PHP maar of dat handig is.

MRTG / PRTG is toch gewoon SNMP uitlezen? Qua graphing maken die toch ook gewoon gebruik van RRDtool?

[ThinkPad]

FireDrunk schreef op zondag 06 januari 2013 @ 16:48:
RRD maakt mooie grafiekjes. Nou kan ik die zelf wel gaan proberen te bouwen met PHP maar of dat handig is.

MRTG / PRTG is toch gewoon SNMP uitlezen? Qua graphing maken die toch ook gewoon gebruik van RRDtool?

Klopt, onder andere SNMP idd. Van Windows bakken kan het diverse dingen uitlezen via WMI. Van linux systemen kan het vanalles via SSH uitlezen.

Wat ze gebruiken om de daadwerkelijke grafieken mee te tekenen weet ik niet.

[ Voor 6% gewijzigd door ThinkPad op 06-01-2013 18:52 ]

[jnr24]

Zijn er niet tientallen van die javascript libraries die mooie grafiekjes maken uit CSV getalletjes?

[chem]

Ik ben wel te spreken over http://www.rgraph.net/demos/ qua html/js-only graphing.

Alles in een textfile gooien en zelf je data verwerken is dan een makkie; even een JS-array bakken van je gewenste graph en hatsee.

[ Voor 45% gewijzigd door chem op 07-01-2013 16:10 ]

[webfreakz.nl]

Pleur alles in een textfile, en lees die in met Excel!

[FireDrunk]

Ik heb het over een andere boeg gegooid. Ik heb het zelf gemaakt met PHP en een SQLite3 database.

Ben nu aan het kl*ten met jqPlot, en dat gaat al iets beter, maar ook nog niet perfect.

Denk niet dat het 'eerlijk' is om de problemen die ik daarmee heb hier weer te plempen.

TLDR; Ik heb RRDtool gedumpt, want het is gewoon te f*cking log...

[matthijsln]

Goed je hebt RRDtool wel opgegeven (wat waren trouwens je create/graph commands dan?), maar ik raad toch Munin aan die met RRDtool grafiekjes maakt. Het is volgens mij goed te doen om simpel Munin-plugins toe te voegen (je pakt een plugin die er op lijkt in de taal die je ligt en past die wat aan), misschien ook voor jouw wens te gebruiken.

[Rostvertol-Mil]

Ik gebruik zelf ook munin, en hier ben ik prima over te spreken. Enige wat ik nog mis is precies wat je hier probeert te bereiken Zou je eventueel je scriptje die de status van de schijf checkt willen delen? Over het algemeen zijn dit soort dingen aardig makkelijk in munin te implementeren

[ Voor 17% gewijzigd door Rostvertol-Mil op 10-01-2013 12:08 ]

[FireDrunk]

ik heb momenteel:

smartctl -a -n standby > /dev/null; echo $?;

smartctl stuurt een camcontrol commando naar de schijf met de vraag wat de standby status is, als de schijf in standby is, leest hij geen SMART uit, maar exit met status 2;

Anders vraagt hij de smart van de disk op, en krijg je 0 terug (geen error).

Niet echt heel netjes, maar het camcontrol commando opzoeken lukte ook niet echt, en dat zat vol met vage karakters waar ik een beetje bang voor was qua escaping in PHP.

[Rostvertol-Mil]

Ok prima Ik ga vanavond eens even wat freubelen. Zat er zelf aan te denken om het aantal actieve discs te graphen.

Kom ook net dit als mogelijkheid tegen:

code:

hdparm -C /dev/disk

[FireDrunk]

Die werkt alleen op Linux, niet op FreeBSD.

[Rostvertol-Mil]

Dit werkt nu aardig hier:

code:

#!/bin/bash

drives=( sda sdb sdc sdd sde sdf sdg sdh sdi sdj sdk )

SMARTCTL=/usr/sbin/smartctl

if [ "$1" = "autoconf" ]; then
        if [ -x "$SMARTCTL" ]; then
                echo yes
                exit 0
        else
                echo no
                exit 0
        fi
fi

if [ "$1" = "config" ]; then
        echo 'graph_title HDD State'
        printf "graph_args --base 1000 -l 0 -u ${#drives[@]} \n"
        echo 'graph_vlabel Active Disks'
        echo 'graph_category disk'
        echo 'active.label Active Disks'
        echo 'standy.label Standby Disks'
        exit 0
fi

s=0
t=0
for drive in ${drives[@]} ; do
        ret=$(sudo smartctl -A -n standby /dev/$drive > /dev/null; echo $?;)
        s=$((s+(ret/2)))
        ((t++))
done
a=$((t-s))

printf "active.value $a\n"
printf "standby.value $s\n"

Nu ben ik verder niet zo'n held met bash, dus het kan vast beter Is er geen handigere manier om de munin gebruiker toegang te geven tot smartctl dan dat ik nu doe?

Zal morgen iig eens het grafiekje posten, er is nu nog niet zoveel info

[ Voor 3% gewijzigd door Rostvertol-Mil op 10-01-2013 21:14 ]

[FireDrunk]

Dit script word door de munin client aangeroepen?

[Rostvertol-Mil]

Het is nu een munin plugin ja
Resultaten so far:

Bij de kleine dip heb ik wat schijven handmatig standby geforced via hdparm. Blijkt dus dat iets de schijven nog wakker houd

[FireDrunk]

Idd, zo'n grafiekje wil ik ook

[Sleepkever]

Rostvertol-Mil schreef op vrijdag 11 januari 2013 @ 09:57:
Bij de kleine dip heb ik wat schijven handmatig standby geforced via hdparm. Blijkt dus dat iets de schijven nog wakker houd

Ja, je smartctl aanroep

Dat geintje ben ik ook achter gekomen een tijdje terug, gebruik zelf laptop-mode om mijn hardeschijven in standby te zetten na 2 uur. Maar, dat deden ze dus niet behalve als ik munin uitzetten of de standby tijd minder dan 5 minuten maakte (graphing interval). Bleek dus dat de smartctl plugin ze wakker hield

Misschien dat de bovenstaande genoemde hdparm -C niet dat effect heeft? Is het proberen waard.

[ Voor 18% gewijzigd door Sleepkever op 11-01-2013 12:46 . Reden: hdparm dingetjes ]

[FireDrunk]

Dus het daadwerkelijk opvragen van SMART reset de idle timer?
Want het commando is juist zo gemaakt dat ALS de schijf idle is, de smart gegevens niet opgevraagd worden.

Vandaar de -n standby...

[Sleepkever]

Om even man te quoten:

-n POWERMODE, --nocheck=POWERMODE
[ATA only] Specifies if smartctl should exit before performing
any checks when the device is in a low-power mode. It may be
used to prevent a disk from being spun-up by smartctl. The power
mode is ignored by default. A nonzero exit status is returned
if the device is in one of the specified low-power modes (see
RETURN VALUES below).

Je hebt inderdaad gelijk dat dit voorkomt dat hij weer aangaat, echter als je hem elke 5 minuten opvraagt en de spindown time langer is, wordt die timer elke 5 minuten gereset. En dan blijven je disks vrolijk doordraaien.

[FireDrunk]

Hmm, dan moeten we dus elk half uur maar gaan meten...

[Rostvertol-Mil]

kinky ja hij ging inderdaad weer aan toen munin-cron gedraaid werd. Zal hem eens proberen met hdparm, alleen schiet jij daar niet echt mee op FireDunk.