[FreeBSD] iSCSI

[Keiichi]

Ik ben bezig met setups met FreeBSD en haar iscsi implementaties.

Hiervoor gebruik ik uit de ports op 1 server 'istgt' als target en iscontrol voor initiator. Allebei op 9.2-RC4.

Als ik een setup met standaard opties maak ( grofweg zoals hier omschreven http://people.freebsd.org/~rse/iscsi/iscsi.txt , maar dan zonder authenticatie), dan krijg ik 'matige' performance op m'n initiator. Bij 600mbit aan bandbreedte blijft deze steken.

De test hiervoor gebruik is het aanmaken van een filesystem op de iscsi drive, deze mounten en dan mbv dd if=/dev/zero of=test.null bs=1024k count=4k . Er zijn wel betere testmethodes, maar deze groffe test moet op z'n minst het netwerk vol kunnen trekken.

Bij een 2de test heb ik op de target ook de initiator gezet om alle netwerk en hardware factoren buitenspel te zetten. Hier trek ik met dezelfde test de complete snelheid die mijn harde schijven kunnen hebben (Bijna 3gbit).
Deze test sluit uit dat de implementatie van iscsi onder freebsd brak is, dus blijven hardware/netwerk over. Testen die ik verder gedaan heb:

- iPerf: Deze trekt probleemloos de gbit verbinding vol
- MTU naar 9000: Dit geeft geen enkel verschil.
- Andere NIC op de initator. De ene is een 82571EB (dedicated dual port op PCI-e) en de andere een 82573E (onboard)

Waar kunnen er zich nog meer bottlenecks vormen?

[Kompaan]

kijk eens naar iscsi queue depth (verhogen naar 64 oid)

[Keiichi]

De queuedepth stond op 32, even naar 64 verhoogd. Dit had geen merkbaar effect.

[Hero of Time]

Check je CPU gebruik op beide systemen (initiator en server). Het is iig goed dat je Intel kaartjes gebruikt, maar hebben ze ook daadwerkelijk iSCSI offloading en staat dat ook daadwerkelijk aan?

[Keiichi]

Hero of Time schreef op zondag 22 september 2013 @ 22:11:
Check je CPU gebruik op beide systemen (initiator en server). Het is iig goed dat je Intel kaartjes gebruikt, maar hebben ze ook daadwerkelijk iSCSI offloading en staat dat ook daadwerkelijk aan?

Op interfaces van beide systeem staan exact dezelfde opties ingeschakeld:
options=4219b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,WOL_MAGIC,VLAN_HWTSO>

-edit-

Ik heb wat testen met iperf gedaan waarbij ik rxsum,txsum en tso4 weghaalde, maar ik kan hier qua snelheden geen verschillen vinden.
Hoe kan ik nu controleren of offloading ook echt in werking is?

[ Voor 17% gewijzigd door Keiichi op 22-09-2013 22:56 ]

[Keiichi]

Ik zat nog aan iets te denken wat ik in testen uit wil voeren. Checksumming in z'n geheel uitzetten.
Het is misschien wel een idioot idee, maar ik ben nieuwsgierig welke impact het op enkel performance heeft.