Performance NFS share (nas -> esx - > vm)

[Killertjuh]

Goededag,

Ik zit met de volgende uitdaging. Mijn performance binnen de VM is erg slecht. Ik zal hier onder uitleggen waarom:

NAS (netgear 4x 2tb in raid5):

root@NAS:~# time dd if=/dev/zero of=/output bs=4k count=100k; rm -f /output
102400+0 records in
102400+0 records out
419430400 bytes (419 MB) copied, 6.205 s, 67.6 MB/s

ESX(intel nuc i3), Ik zie geen snelheid vandaar dat ik time er bij heb staan. Dit komt neer op zoon 30MB/s

~ # time dd if=/dev/zero of=/vmfs/volumes/VMFS_NFS/output bs=4k count=100k; rm -f /vmfs/volumes/VMFS_NFS/output
102400+0 records in
102400+0 records out
real 0m 13.35s
user 0m 0.67s
sys 0m 0.00s

VM (debian 8 ) die opgeslagen is op de NFS volume:

time dd if=/dev/zero of=/output bs=4k count=100k; rm -f /output
102400+0 records in
102400+0 records out
419430400 bytes (419 MB) copied, 279.095 s, 1.5 MB/s

real 4m39.116s
user 0m0.032s
sys 0m1.076s

VM(Debian 8 ) op ISCSI

# time dd if=/dev/zero of=/output bs=4k count=100k; rm -f /output
102400+0 records in
102400+0 records out
419430400 bytes (419 MB) copied, 35.3713 s, 11.9 MB/s

real 0m35.879s
user 0m0.088s
sys 0m0.648s

Volgende dingen heb ik al geprobeerd: Async NFS op de nas is op dit moment enabled. Dit zorgt voor een aanzienlijke betere latancy. Met Async NFS heb ik ongeveer 10a20ms. Zonder Async zit ik op 300a500ms. Echter is dit niet te merken als ik inlog op de vm.

NFS Threads staat op 32

Heeft er iemand nog ideeën wat ik nog kan proberen ?

[Hero of Time]

Wat is de CPU belasting op de VM host en de NAS? Wat is je netwerk? Met RAID 5 is het te verwachten dat je performance iets lager is vanwege het berekenen van de checksum, vandaar de ~65 MB/s, maar zoals je aangeeft, die 2 tot 10 MB/s is erg slecht.

Hoe is je performance eigenlijk als je nog een apart volume via NFS of iSCSI aan de VM zelf geeft, ipv het via ESXi te laten lopen?

[Killertjuh]

Hero of Time schreef op vrijdag 31 juli 2015 @ 10:48:
Wat is de CPU belasting op de VM host en de NAS? Wat is je netwerk? Met RAID 5 is het te verwachten dat je performance iets lager is vanwege het berekenen van de checksum, vandaar de ~65 MB/s, maar zoals je aangeeft, die 2 tot 10 MB/s is erg slecht.

Hoe is je performance eigenlijk als je nog een apart volume via NFS of iSCSI aan de VM zelf geeft, ipv het via ESXi te laten lopen?

VM: 2x CPU idle = 0a10% hier draait een webserver. Wanneer ik DD draai merk ik niet veel verschil
NAS: CPU idle= 10a20% wanneer ik DD draait zit ik geen verschil soms pieken naar 30%
Netwerk = 1GB
Teaming op NAS is uitgeschakeld heb ook maar 1 nic aangesloten. Ik heb nog 1 nic over op nas.
NAS --- 1gb--> Switch --- 1 gb ---> ESX


VM:

time dd if=/dev/zero of=/mnt/nfs/output bs=4k count=100k; rm -f /mnt/nfs/output
102400+0 records in
102400+0 records out
419430400 bytes (419 MB) copied, 64.0166 s, 6.6 MB/s

Wanneer ik IOtop bekijk op de NAS zie ik ook weinig gebeuren. Kan het niet te maken hebben met de aantal connecties die een VM probeert op te zetten ?

[Hero of Time]

Nee, ik denk dat je iets met de performance counters oid in ESXi moet spelen. Lijkt erop dat die niet zo goed overweg gaat met het verkeer naar je NAS toe.
Je symptomen heb ik eerder gezien, maar de oplossing weet ik niet meer, dacht dat het om een hele brakke schijf ging, maar dat is bij jou niet het geval omdat je op de NAS zelf wel een goede snelheid haalt.