[LIO iSCSI] Performance statistieken ophalen

[FireDrunk]

Sinds een tijdje heb ik een thuiscluster bestaande uit 4 ESXi nodes en een centrale storage bak.
Op de storage bak draait Ubuntu icm LIO (Linux IO) welke een iSCSI target (LUN) levert aan het cluster.
Deze LUN staat weer op een ZFS ZVOL welke weer op een RAIDZ array staat.
Afijn, dat is niet zo belangrijk, dat werkt allemaal prima.

Wat ik niet goed voor elkaar krijg, is het aantal IOPS (en sequentiele MB/s, maar dat is van minder belang) meten wat er door de iSCSI target software heen gaat (LIO in dit geval).

Ik wil graag in Zabbix (en of Python als het niet direct kan) meten wat er aan Frontend IOPS door iSCSI heen gaat. Simpelweg meten met iostat -x is dus niet voldoende. Hier zie ik alleen de IOPS die daadwerkelijk gedaan worden op het storage device. Ik wil ook graag weten welke IOPS er uit het cache geleverd worden.

Weet iemand hoe ik op de lokale machine, vanuit LIO, de goede statistieken kan halen om te zien hoeveel MB/s er op een bepaald iSCSI target geleverd word?

Google verteld mij vooral resultaten waarin mensen performance meten vanaf de client kant, dat wil ik dus expliciet niet.

Ik heb zelf al zitten kijken in /sys/kernel/config/target/iscsi/iqn*/tpgt_1/lun/lun_0 naar de statistieken die daar staan, maar daar zie ik alleen in_cmds en out_cmds. Dit zijn dus ook de 'management' IOPS, en ik wil juist weten hoeveel 'data' iops er heen en weer gaan.

Iemand een idee?

[Q]

Kijk hier eens naar of je daar zinnige stats uit kunt halen:

/proc/spl/kstat/zfs/arcstats

Dit is niet per LUN maar voor je gehele pool.

Er is een hoop info te vinden over wat iedere optie betekent, er is zelfs een python scriptje als onderdeel van ZoL voor om dat uit te lezen/te monitoren.

Hiermee zou je eventueel cache efficiency kunnen zien.

Ik heb er lang mee gespeeld, maar ik weet niet in hoeverre ik er nu echt wijzer uit wordt. Deze interface en de getallen zijn erg lastig te interpreteren. Data en meta data cache hits worden soms op een hoop gegooid, het is echt niet intuitief.

[ Voor 83% gewijzigd door Q op 21-07-2014 15:13 ]

[FireDrunk]

Mja, dan heb je het over iops die de iSCSI kernel module maakt richting ARC. Op zich ook goed inderdaad, maar ik zou toch het liefst echt aan de voorkant meten.

Ik weet niet of de iSCSI module zelf cached, maar ik ga daar wel vanuit... Dan weet je dus bijvoorbeeld niet of optimalisaties die je doet op LIO niveau echt effect hebben omdat je misschien op de verkeerde plek meet...

[Q]

Ik vraag me sterk af of iSCSI zelf iets doet aan caching. In plaats van een sata/sas/fc kabel gebruik je IP over utp, maar verder veranderd er weinig. Welk maakt de mode nog uit bij ietd: file of block io of dus OS caching wordt toegepast, wat een vertekend beeld kan geven.

Maar nu ik er over na denk: wat wil je nu precies meten? Vmware zelf laat ook al redelijk goed zien wat voor latency en iops een vm in zijn knuisten krijgt.

[FireDrunk]

Ik wil instellingen meetbaar maken als in:

Hoeveel zin heeft Round Robin, hoeveel zin heeft een R2T van 2T (iSCSI troep), hoeveel zin heeft jumbo frames.

Als ik dat ook nog eens moet combineren met het wegfilteren van dingen als ARC en Caching, kan ik niet goed meten.

Ik wil inzichtelijk maken hoeveel IOPS er nou daadwerkelijk over de lijn gaan.

[_-= Erikje =-_]

Off topic, doet lio nu persistent iscsi reservations? Die heb je nodig voor een goede werking van vMotion

[Q]

Als je graag de impact van iSCSI / network settings wilt meten:

1. Fuck ZFS weg, dat verstoord alleen maar
2. Test met een enkele disk die je als device / lun native via /dev/sdx aan je VM aanbiedt.
3. Zorg voor een baseline van die disk
4. Test met zowel disks als ssd

[FireDrunk]

_-= Erikje =-_ schreef op maandag 21 juli 2014 @ 20:49:
Off topic, doet lio nu persistent iscsi reservations? Die heb je nodig voor een goede werking van vMotion

Voor zover ik weet wel ja.

@Q,
Mja, dan hou je maar een paar IOPS over, en dat is nou net te weinig om het verschil te maken...

En juist latency truukjes of jumbo frames ga je pas merken bij systemen die > 10.000 iops doen...

[ Voor 39% gewijzigd door FireDrunk op 21-07-2014 23:14 ]

[Q]

Met 1 SSD zou je al impact moeten kunnen meten. Beetje SSD doet 10K+ zonet 80K+ iops?
Gewoon hele device als LUN aanbieden?

[ Voor 25% gewijzigd door Q op 21-07-2014 23:50 ]

[FireDrunk]

Ook weer waar...