Synology RS3614XS iSCSI (LACP) Proxmox langzaam

[sanderbroeze]

Beste,

Ik heb de volgende opstelling.

1 x Synology RS3614XS verbonden met 4 x Gigabit (LACP en Jumbo ingeschakeld) met een HP 1910-24g.
3 x HP DL160 G6 voorzien van Proxmox en verbonden met 1 x gigabit met diezelfde HP switch (Jumbo ingeschakeld)

Synology is voorzien van 8 x 2 TB WD Black Disks in Raid 6 (en tevens ter test 2 x Samsung SSD 850 500 GB in Raid 1).

Doormiddel van iSCSI is alles verbonden (NFS maakt in dit hele verhaal ook geen verschil/verbetering).

Het probleem waar ik eigenlijk voornamelijk mee zit is de snelheid, wanner ik binnen een VM (of deze back-up) is de snelheid niet hoger dan 40/50 mb/s (zowel bij de HDD als SSD Config) zowel bij lezen als schrijven, Jumbo frames uit maakt ook geen verschil.

Wie kan mij helpen? Zelf heb ik internet al af gezocht maar kom niet echt verder.

Bij gebrek aan info verneem ik het graag.

Alvast bedankt.

Groeten,

Sander

[PisPix]

Wat voor waardes haal je op de Synology met hdparm -tT /dev/<raiddevice>, dus niet via het netwerk?
Wat als je je NAS met een enkele gigabit NIC koppelt aan de HP (zonder LACP)?
Wat doet de CPU van de NAS tijdens het kopieren?
Heb je logging aan staan op de Synology?
Kan je een capture maken van het verkeer?

Ik haal op een Synology 1813+ via een HP 1910-24 (ook met 4x gigabit gekoppeld, LACP, geen Jumbo frames) de maximale snelheid die de client (enkel gigabit) aan kan (+/- 100MB/s, in geval van SSD).

[Equator]

sanderbroeze schreef op maandag 16 februari 2015 @ 22:06:
... de snelheid niet hoger dan 40/50 mb/s ...

Wat bedoel je hier nu precies?
40 tot 50 millibit per seconde (vast niet)
40 tot 50 Megabit per seconde? (Mbps)
40 tot 50 MegaByte per seconde? (MB/s)

Houd ook even rekening met het feit dat 4x1Gbps LACP niet een 4Gbps bandbreedte oplevert. Bij '1 op 1' verkeer heb je maximaal 1Gbps == circa 100MB/s. Alleen bij 'n op 1' of 'n op n' verbindingen kan je nut hebben van een LACP ether channel.

Maar goed, 50Mbps is wat weinig. Check vooral de post hierboven

[Ximon]

Vergeet ook niet dat ik verwacht dat je maar de helft van de beschikbare bandbreedte in gebruik ziet als je van de ene naar de andere VM aan het kopieren bent. Beide VMs gebruiken namelijk een virtuele disk die via dezelfde 1 Gbit/s verbinding aan de host is verbonden. Als je dus 50 MByte/s bedoelt ligt dat wel in de lijn der verwachting.

[sanderbroeze]

Voor de duidelijkheid, ik bedoelde MB/s

Dat LACP totaal geen 4 gigabit maakt was mij bekend, maar zo kan wel mooie elke host zijn eigen gigabit vol trekken.

De snelheid is ook gelijk wanneer ik een back-up naar een andere NAS over NFS maak, of naar een lokale schijf van 1 van de proxmox servers, wanneer ik een backup van een VM welke lokaal op 1 van de hosts staat back-up naar diezelfde NFS opslag (dus niet de RS3614XS) haal ik overigens wel snelheden rond van 100/110 MB/s daar kan het dus niet aan liggen, het is echt de snelheid van data tussen de Hosts en de RS3614XS

PisPix, reactie op je vragen:
Wat voor waardes haal je op de Synology met hdparm -tT /dev/<raiddevice>, dus niet via het netwerk?
Krijg het volgende:

ST001> hdparm -tT /dev/vg2
dev/vg2:
read() failed: Is a directory
BLKGETSIZE failed: Inappropriate ioctl for device
BLKFLSBUF failed: Inappropriate ioctl for device


Wat als je je NAS met een enkele gigabit NIC koppelt aan de HP (zonder LACP)?
Geen merkbaar verschil.


Wat doet de CPU van de NAS tijdens het kopieren?
Bijna niets, keer 4/5%


Heb je logging aan staan op de Synology?
De logs, welke worden opgeslagen in /var/log bedoel je?


Kan je een capture maken van het verkeer?
Dit kan, maar dan van een bepaalde tijd of op het moment dat ik de hoogst mogelijke snelheid op het moment probeer te bereiken? bijv. tijden back-up

[PisPix]

Je moet inloggen als root op je nas (is het zelfde pw als admin). Dan doe je een df -h en zie je welke volumes er zijn. De eerste kolom is je raid device. Bij mij zijn dat md2 (Harddisks) en md3 (SSD). Je ziet het verschil in buffered reads. Maar beide zijn snel zat om 1x Gigabit vol te trekken. Let wel, dit is lezen, niet schrijven.

nas01> hdparm -tT /dev/md2

/dev/md2:
Timing cached reads: 1814 MB in 2.00 seconds = 906.88 MB/sec
Timing buffered disk reads: 454 MB in 3.00 seconds = 151.19 MB/sec
nas01>
nas01> hdparm -tT /dev/md3

/dev/md3:
Timing cached reads: 1844 MB in 2.00 seconds = 922.21 MB/sec
Timing buffered disk reads: 802 MB in 3.00 seconds = 267.29 MB/sec

Ik zie dat de logging opties voornamelijk betrekking hebben op SMB.

Een klein stukje capture (20 seconden) zou al voldoende moeten zijn. Met name de start van de transfer/download/backup zou info moeten geven waarom het traag is. Maar, doe eerst de hdparm test, indien die aangeeft dat je disken om wat voor reden niet snel genoeg gaan, dan hoef je niet naar het netwerk gedeelte te kijken.

[sanderbroeze]

Onderstaande resultaten krijg ik, lijkt mij meer dan voldoende tog?

/dev/md0:
Timing cached reads: 17328 MB in 2.00 seconds = 8671.87 MB/sec
Timing buffered disk reads: 1118 MB in 3.01 seconds = 371.91 MB/sec

/dev/md1:
Timing cached reads: 17514 MB in 2.00 seconds = 8765.31 MB/sec
Timing buffered disk reads: 460 MB in 3.01 seconds = 152.69 MB/sec

/dev/md2:
Timing cached reads: 17926 MB in 2.00 seconds = 8971.67 MB/sec
Timing buffered disk reads: 1322 MB in 3.02 seconds = 437.28 MB/sec

/dev/md3:
Timing cached reads: 15524 MB in 2.00 seconds = 7768.18 MB/sec
Timing buffered disk reads: 558 MB in 3.00 seconds = 185.93 MB/sec

/dev/md4:
Timing cached reads: 17502 MB in 2.00 seconds = 8759.58 MB/sec
Timing buffered disk reads: 1320 MB in 3.00 seconds = 439.38 MB/sec

Zal straks wel even een capture maken..

[sanderbroeze]

Capture even snel ge-upload via: http://www.filedropper.com/capture_25

[sanderbroeze]

Ben nog het één en ander aan het proberen en het volgende vind ik wel erg vreemd.

Wanneer ik een Bestand vanuit Proxmox verplaats of backup haal ik max een keer 40/50 MB/s ga ik vanuit de console een bestand kopiëren trekt deze gewoon de gigabit lijn vol..

Het probleem lijkt hem op dit moment dus niet zozeer in de verbinding tussen de hosts en de Synology te liggen maar meer ergens in hoe Proxmox omgaat met zijn data?

[PisPix]

Ik zie in dit bestand niet een transfer lopen. Ik zie alleen wat SNMP/ARP/Ping verkeer. Let wel op dat sommige protocollen plain text over de lijn gaan (snmp bijvoorbeeld). Als je je community string geheim wil houden, kan je wellicht SNMP even uitschakelen of een tijdelijke community string erop zetten. Makkelijker is wel om een pcap file te maken, dan kan die geanalyseerd worden in Wireshark, dat leest een stuk makkelijker.

Proxmox zegt mij niets om eerlijk te zijn, gaat dat over NFS/iSCSI/SMB/FTP?

[sanderbroeze]

Proxmox is virtualisatie software als VM Ware Hyper-V etc. draait op Debian

En kan zijn storage aanspreken via NFS, iSCSI of lokaal

Het gekke is het volgende:
Backup vanuit proxmox van lokale storage naar NFS is snel
backup vanaf NFS of iSCSI storage naar NFS is langzaam
data van en naar NFS of iSCSI voor VM's is langzaam
vanaf de console data van of naar NFS / iSCSI is snel

[Ximon]

sanderbroeze schreef op woensdag 18 februari 2015 @ 11:34:
Proxmox is virtualisatie software als VM Ware Hyper-V etc. draait op Debian

En kan zijn storage aanspreken via NFS, iSCSI of lokaal

Het gekke is het volgende:
Backup vanuit proxmox van lokale storage naar NFS is snel
backup vanaf NFS of iSCSI storage naar NFS is langzaam

Wordt deze NFS share aangeboden door de Synology of door een andere NAS?

data van en naar NFS of iSCSI voor VM's is langzaam
vanaf de console data van of naar NFS / iSCSI is snel

Staat de data van de console lokaal opgeslagen of op de Synology (of op een andere NAS)?

[sanderbroeze]

Ja de NFS backup map is op een andere NAS, ik heb hier ook al eens een VM opgezet maar dit geeft hetzelfde resultaat.

beide geprobeerd, van NAS 1 naar NAS 2 en van lokcaal naar NAS

[Ximon]

Kan je misschien test doen vergelijkbaar aan de hdparm test op een VM en daarna dezelfde test op 2 VMs op verschillende hosts?

[sanderbroeze]

VM op Host 3:
/dev/sda1:
Timing cached reads: 9326 MB in 2.00 seconds = 4671.13 MB/sec
Timing buffered disk reads: 116 MB in 3.03 seconds = 38.30 MB/sec

VM op Host 1:
/dev/vda1:
Timing cached reads: 8682 MB in 2.00 seconds = 4345.24 MB/sec
Timing buffered disk reads: 150 MB in 3.06 seconds = 49.01 MB/sec

[PisPix]

Als ik deze waardes zo zie, dan haalt jouw virtualisatie laag een flinke plak performance weg.

Ik heb dezelfde test even op een VM gedaan welke via NFS op de Synology staat (Vmware ESX).

/dev/sda1:
Timing cached reads: 8380 MB in 2.00 seconds = 4194.01 MB/sec
Timing buffered disk reads: 202 MB in 2.09 seconds = 96.73 MB/sec

Dit is dus virtueel bovenop het /dev/md2 volume (harddisks).

[Ximon]

Ik ben zeker geen expert op KVM gebied, maar misschien valt er e.e.a. te optimaliseren aan de guest storage configuratie van de Proxmox. Had je toevallig deze onderwerpen al gevonden?
http://serverfault.com/qu...an-host-io-is-that-normal
http://www-01.ibm.com/sup...at/liaatbpblockioperf.htm