Mulitpath iscsi alleen bij lezen halve bandbreedte.

[Keiichi]

Ik heb een setup gemaakt waarbij ik Ubuntu 14.04 tegen een iSCSI server aan laten praten met multipath

De output van multipath -ll ziet er zo uit:

code:

root@ibm:~# multipath -ll
1FREEBSD MYDEVID   0 dm-0 FREEBSD,CTLDISK
size=100G features='0' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
  |- 8:0:0:0 sdc 8:32 active ready running
  `- 7:0:0:0 sdb 8:16 active ready running

Op dit device (/dev/mapper/1FREEBSD...) heb ik ext4 gemaakt en ben ik wat testjes gaan draaien
Eerst een testbestand vol nullen:

code:

dd if=/dev/zero of=16g.null.2 bs=1024k count=16k conv=sync

Tergelijk heb ik hier de netwerk monitor op beide netwerk interface aanstaan, deze geven beiden continue rond de 940mbit aan (=gbit). Als dd klaar is geeft deze ook als output dat er met 225Mbytes/sec geschreven is. Een goed resultaat

Zodra ik ga lezen van het bestand

code:

root@ibm:/mnt/test# dd if=16g.null.2 of=/dev/null bs=1024k

gaat het maar op halve snelheid, elke netwerk interface staat rond de 460/480mbit te werken.

Ik kom er niet uit wat er mis is, of dat ik zelf ergens een denkfout maak. Wie weet waardoor het ontvangen van data niet vol over 2 paths loopt?

[ShadowAS1]

Keiichi schreef op maandag 21 juli 2014 @ 13:42:
Ik heb een setup gemaakt waarbij ik Ubuntu 14.04 tegen een iSCSI server aan laten praten met multipath

De output van multipath -ll ziet er zo uit:

code:

root@ibm:~# multipath -ll
1FREEBSD MYDEVID   0 dm-0 FREEBSD,CTLDISK
size=100G features='0' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
  |- 8:0:0:0 sdc 8:32 active ready running
  `- 7:0:0:0 sdb 8:16 active ready running

Op dit device (/dev/mapper/1FREEBSD...) heb ik ext4 gemaakt en ben ik wat testjes gaan draaien
Eerst een testbestand vol nullen:

code:

dd if=/dev/zero of=16g.null.2 bs=1024k count=16k conv=sync

Tergelijk heb ik hier de netwerk monitor op beide netwerk interface aanstaan, deze geven beiden continue rond de 940mbit aan (=gbit). Als dd klaar is geeft deze ook als output dat er met 225Mbytes/sec geschreven is. Een goed resultaat

Zodra ik ga lezen van het bestand

code:

root@ibm:/mnt/test# dd if=16g.null.2 of=/dev/null bs=1024k

gaat het maar op halve snelheid, elke netwerk interface staat rond de 460/480mbit te werken.

Ik kom er niet uit wat er mis is, of dat ik zelf ergens een denkfout maak. Wie weet waardoor het ontvangen van data niet vol over 2 paths loopt?

Is je HDD niet toevallig een bottleneck?

[Keiichi]

ShadowAS1 schreef op maandag 21 juli 2014 @ 14:51:
[...]

Is je HDD niet toevallig een bottleneck?

Nee, de ZFS array is gebenchmarked op uncompressed 400Mbytes/sec lezen en schrijven. Met compression aan, hebben de hdd's zelfs helemaal bijna niets te verwerken met de stream van alleen 0'en. (lokaal tot 900Mbytes/sec schrijven, 2Gbytes/sec schriven mogelijk)

De snelheid van lezen is ook praktisch 1gbit maar.

[Keiichi]

Ik heb nog de volgende test uitgevoerd:

Op de iSCSI target heb ik 2 targets aangemaakt. Ik heb hiervoor 2 multipath devices aangemaakt. Als ik nu op de 2 verschillende devices tergelijk een readtest uitvoer, dan saturate deze wel beide verbindingen.

[bigfoot1942]

Je gebruikt geen enkele vorm van NIC-teaming / trunking / bonding op deze interfaces?

[Keiichi]

bigfoot1942 schreef op zaterdag 26 juli 2014 @ 13:52:
Je gebruikt geen enkele vorm van NIC-teaming / trunking / bonding op deze interfaces?

Klopt, 2 verschillende subnets op 2 verschillende adapters voor 2 iSCSI sessions.

[bigfoot1942]

Prima, dan is dat niet het probleem ;-)
Staat multipath round-robin ook ingesteld op de iSCSI server?

[Keiichi]

bigfoot1942 schreef op zondag 03 augustus 2014 @ 15:46:
Prima, dan is dat niet het probleem ;-)
Staat multipath round-robin ook ingesteld op de iSCSI server?

Op de server is niets ingesteld, behalve dat meerdere sessies van 1 IP mogelijk zijn.

De bandbreedte wordt over de 2 paths verdeeld, maar telt samen niet op naar 2gbit, maar slechts 1gbit. (500mbit/netwerkpoort)

[bigfoot1942]

mjah, tricky. Klinkt als iets netwerkachtigs vanwegen de 1Gbit limiet, maar je hebt eigenlijk al uitgesloten dat dit het probleem kan zijn. Mogelijk kan je nog iets tweaken (LRO / TOE disablen, Delayed ACK uit, kijken of dat wat uitmaakt) maar het meest straightforward zou het zijn om er een andere server (met ander OS) naast te plaatsen, kijken of je tegen hetzelfde probleem aanloopt.

[Keiichi]

Ik heb ook andere OS's gebruikt nadat ik het topic heb aangemaakt, maar weet niet meer welke combinatie.

Ik zal binnenkort nog even linux<->linux testen om te kijken of dat iets uitmaakt.