Performance iscsi Equallogic P6100

[MMaI]

Om een korte situatie te schetsen behorend bij de onderstaande vraag:
het bedrijf waar ik werk heb ik momenteel een HA setup (corosync/pacemaker) ingericht en opgeleverd.

Echter zijn er mogelijk wat problemen met de disk performance richting het SAN. Dit is een Equallogic PS6100, waarbij de twee servers uit de HA setup als enige hierheen mogen connecten.

Deze twee servers zijn door middel van een bonded link via een dedicated switch geconnecteerd aan het SAN. Echter, bij benchmarken valt het op dat de performance achter blijft op de normale performance die we gewend zijn te halen op het SAN (120MB/s ipv 200MB/s).

Zijn er onder jullie mensen die ervaring hebben met een dergelijke setup, en advies kunnen geven over eventuele performance tweaks, of plaatsen waar ik kan beginnen met zoeken naar performance verhogende instellingen?

(voor de volledigheid: scheduler staat op cfq, performance is zowel voor grote als kleine chuncks 120MB/s, netwerkkaarten zijn Intel e1000 quadports, met 2 connecties richting het SAN, filesystem is halvm emt ext4 volumes)

[BarthezZ]

Bonded links of multipathing? iSCSI werkt namelijk niet lekker over link aggregration. Equallogic heeft daar zelf truukjes voor om multipathing goed te laten verlopen bij ondersteunde hosts.

Welk OS gebruik je verder op je hosts?

[MMaI]

CentOS 6.2, multipathing geeft helaas problemen met betrekking tot de uplinks (zou ook mijn voorkeur hebben gehad), iets met packet loss en mac conflicts op het iscsi netwerk, en de netwerkbeheerder kreeg dit niet opgelost. De bonded link loopt als loadbalanced/failover link momenteel (mode 5), zou active/passive dit probleem op kunnen lossen?

[BarthezZ]

Nu weet ik niet helemaal wat load balanced/failover mode 5 betekent. Maar meestal met Link aggregration wordt er op basis van ip/mac besloten welk pad er gevolgd moet worden. Aangezien je verkeer altijd van host naar san loopt, wordt er altijd hetzelfde pad gekozen, en dus effectief maar één link in gebruik. Ik raad echt aan om te kijken naar multipathing in active/active.

Ik denk dat het handig is om, als je dat niet al gedaan heb, even in het Equallogic support portal te kijken naar de Host integration toolkit for linux. In de manual stond namelijk het volgende:

Multipath device configuration components: Provides the EqualLogic Connection Manager
(ehcmd) daemon to manage multipath devices, a Device Mapper kernel module (dm-switch)
to optimize routing of multipathing devices, and a command line interface (ehcmcli) that
allows users to review the diagnostic state of EqualLogic multipathing.
EqualLogic Host Performance and Tuning Tool Suite (eqltune), a utility used to validate
configurable parameters against Dell’s recommended practices.

Lijkt mij dat je daarmee wel een supported omgeving kan creëren. But note: ik heb EQL's nog nooit met Linux direct gebruikt, alleen met VMware.

[MMaI]

mode 5 betekent dat beide netwerkkaarten onder één mac adres gemaskeerd worden, en effectief dus een dubbele snelheid bieden. (minus een keine overhead, max 5%). Ik zal morgen de hitkit eens proberen, maar verwacht identieke mac-adres problemen, welke ook al aanwezig waren zonder bonding/aggregration.

[MMaI]

ik denk zelf eerder dat de performance limiet door de netwerk configuratie komt.
kan er iemand iets zinnigs zeggen over de volgende situatie:

intel quad port nic met de namen p1p1 en p1p2
p1p1 en p1p2 zijn beiden geconnecteerd naar dezelfde switch, maar hebben een uniek ip-adres assigned
p1p1 heeft een normale, stabiele link, pingen van iscsi portal/target functioneerd zonder problemen
p1p2 kan niet pingen, en link is continue up/down

als beide adapters echter in een bonded link worden geplaatst is dit probleem neit meer aanwezig, en functioneerd de bonded link zonder problemen, maar met een maximale snelheid van 120MB/sec (dus 1Gb) wat mij doet vermoeden dat er maar één link uit de bond wordt gebruikt.

[xares]

Wat voor switch staat er tussen?
Het lijkt erop dat de configuratie van de switch ergens niet goed staat. Kan je de config eens posten?

[MMaI]

helaas kan ik niet bij de config van de switch, welke instelling zit je zo aan te denken?

[BarthezZ]

Zet link aggregration uit op zowel host als switch, configureer de twee interfaces zodat ze in de basis werken (SAN's kunnen pingen zonder conflicten en crc error ed). Als de connectivity in de basis werkt, kan je aan de slag gaan met de mulitpathing.

[Johnny E]

Jumbo frames zijn bij ISCSI ook vereist om de maximale performance uit de interface te krijgen.
Zorg dus dat deze aan staan (wel eerst even testen).