Synology 10gbit NIC issue (en ook oplossing)

[itlee]

Wilde dit probleem en oplossing delen met jullie, ik heb er 3 weken mee gestoeid met de heren synology en vandaag de oplossing gevonden. (met de software ontwikkelaars van Synology...)

Setup: 2 esx hosts (hp 530sfp+) > 10gbit > Synology rs3614xs 10gbit. (Synology E10G15-F1 10Gbps SFP+ Ethernet Adapter

Elke esx host heeft een eigen 10gbit kaart naar de Synology.
VMware > Synology via NFS partities.

Software Synology: DSM 6.0.1-7393 Update 2

Probleem:
Bij hoge random IO over 10gbit, dus bijv. veel VM's te gelijk starten, of storage migrations naar andere volumes zolang je het maar over 10gbit doet, klapt de 10gbit NIC eruit van je synology. vanaf je VMware esx host geen PING meer naar je synology (op je 10gbit kaart).

Gevolg al je NFS partities in VMware verbroken, en al je running vm's liggen er dan ook uit.

Analyze developers Synology: De 10gbit NIC op de Synology loopt uit zijn Paged memory buffers (op de kaart zelf) gevolg is dat de NIC stopt met werken en je de Synology moet rebooten om je NFS partities weer terug te krijgen.

Oplossing:
- Login met ssh op je synology met je admin account.
- Tik in: sudo -i (om jezelf root level access te geven)
- Tik in: vi /etc.defaults/modules.conf
Ga naar een verse regel:
- Tik in: R
- Plak deze regel erin: module_tn40xx_args_bromolow="paged_buffers=0"
- Tik in: :wq
- Schrijf je config weg met :wq (dubbele punt meenemen)
(mislukt het (voor de niet VI kenners); tik in dubbele punt q uitroepteken. :q!

Reboot je synology (tik in: reboot)

log nog een keer met ssh, zie boven, tik in: cat /sys/module/tn40xx/parameters/paged_buffers
t getal 0 moet naar voren komen dan zit je goed.

T was zo n hardnekkige hufter dat 9 van de 10 mensen dit probleem nooit zullen hebben (laat staan 10gbit gebruiken) maar t is zo k*t als je elke keer je partities kwijt bent en je vm's down gaan dat ik het toch wilde delen voor die ene die hier misschien wel tegen aan loopt.

---------------------------
Engelse versie: (voor google ;-))

Synology E10G15-F1
HP 530sfp+

Software version: DSM 6.0.1-7393 Update 2

Problem:
High random io you loose NFS partitions (NFS share) on VMware environment. (like storage migrations, booting VM's) no ping between esx host and 10gbit Synology NIC possible. after reboot Synology everything is online again.

Analyze Synology: Buffer overflow on 10Gbit NIC will cause a crash on the NIC it self.

Solution:
- SSH to your Synology
- sudo -i
- vi /etc.defaults/modules.conf
- add following rule: module_tn40xx_args_bromolow="paged_buffers=0"
safe it, and reboot.
login ssh after reboot, check with command: cat /sys/module/tn40xx/parameters/paged_buffers
it need to return: 0

thats it....NFS over 10gbit should be stable again!

edit; message from synology: For your information, the option will be overwritten if upgrade to 6.0.2. which will releaser in the near future. (dus de entry moet je na de upgrade er weer inzetten. zodra er een definitieve oplossing is meld ik t.

5-2-2017 edit:
DSM 6.0.2-8451 Update 9
Synology still continues to add the rule (module_tn40xx_args_bromolow="paged_buffers=0") with the disabled cache setting. i think it will stay this way. it is stable.

8-11-2016 edit;
Problem is still not solved in version: 6.0.2-8451 update 2.
Synology wrote:
- Fixed an issue where Synology E10G15-F1 NIC may disconnect under certain circumstances.
- Fixed an issue where Full File Clone via VMware VAAI could cause NFS protocol to act abnormally under certain circumstances.

I updated to 6.0.2-8451 update 2 and the problem still stays active:

Eventvwr in Windows will show: The IO operation at logical block address 0x192cc32 for Disk 0 (PDO name: \Device\00000028) was retried. <-wat dit betekend staat hier.

I opened up a new ticket at Synology.

14-11-2016:
Reactie van synology. Het is dus nog niet opgelost na het analyseren van de opgestuurde debuglogs.

Dear Leon,

Thank you for your message.
Please kindly help us keep using the workaround.
Or engineers will improve the driver again in the future version as far as we could.

Thank you for your understanding.

Regards,
Eilon Chien

[ Voor 20% gewijzigd door itlee op 05-02-2017 18:08 . Reden: informatie toegevoegd. issue is nog niet opgelost. ]

[Kavaa]

Thanks voor sharing!!!
Ik ga binnenkort aan de slag bij een klant die aardig wat VMs heeft en over gaat op Synology met SSD's.
Zal het dan ook eens testen.

[itlee]

djkavaa schreef op donderdag 18 augustus 2016 @ 22:35:
Thanks voor sharing!!!
Ik ga binnenkort aan de slag bij een klant die aardig wat VMs heeft en over gaat op Synology met SSD's.
Zal het dan ook eens testen.

Tip: maak je volumes aan op basis DNS naam en niet NFS IP adres. zet de dns naam met ip adres in de /etc/hosts op je esx host. (anders kan je geen vmotion gebruiken tussen je hosts.

Tip2; zorg dat je SSD's gebruikt die op de lijst staan bij synology en bij voorkeur de INTEL S-serie ssd's. alle samsungs evo's en Pro's werken ook maar je moet rekening houden met wearlevels, en dat gaat harder dan je denkt.

Succes met t opbouwen...

[Kavaa]

itlee schreef op vrijdag 19 augustus 2016 @ 00:20:
[...]

Tip: maak je volumes aan op basis DNS naam en niet NFS IP adres. zet de dns naam met ip adres in de /etc/hosts op je esx host. (anders kan je geen vmotion gebruiken tussen je hosts.

Tip2; zorg dat je SSD's gebruikt die op de lijst staan bij synology en bij voorkeur de INTEL S-serie ssd's. alle samsungs evo's en Pro's werken ook maar je moet rekening houden met wearlevels, en dat gaat harder dan je denkt.

Succes met t opbouwen...

Thanks, die ssds wist ik inderdaad. Maar dan van DNS niet gebruik altijd op ip en gaat al heel lang goed bij NFS klanten.
Heb je nadere toelichting? Of een topic waar meer hierover te vinden is? Ben wel benieuwd.

[itlee]

Je wilt vmotion gebruiken om een vm van host 1 naar host 2 te verhuizen.
als je geen dns gebruikt kan je geen vmotion gebruiken (lees hij doet het wel maar gaat dan echt de hele vm kopieren naar de andere host/storage. (of je krijgt rare meldingen.) (zeker als je verschillende IP adressen gebruikt terwijl het eigenlijk de zelfde NFS folder is op je synology MOET je mounten op DNS naam, je storage pool moet namelijk over de verschillende hosts dezelfde naam hebben.

heb je je 10gb op switch port zitten of heb je een DA (direct attached) kabel er tussen?

en als je de licentie er voor hebt gebruik storage IO control, dat werkt super mooi, vmware monitored je snelheid van je storage, en vooral de queue depth, als t druk is bijv. met databases schrijven om andere IO zaken die flink op de synology leunen kan vmware de queue depth reduceren om je synology lucht te geven met als gevolg dat de boel niet ongekend traag wordt. Met ssd heb je daar wat minder last van, maar met HDD in een raid 5 kan het stroperig aanvoelen, io control die throttled dan terug zodat de boel niet vast loopt.

Vergeet ook niet de VAAI driver op je esx host te installeren:
https://www.synology.com/...I_Plug_in_on_an_ESXi_host

[ Voor 8% gewijzigd door itlee op 19-08-2016 12:14 ]

[itlee]

korte update; het lijkt gefixed, ik ga nu de synology updaten: (heb al die tijd op de oude 6.0.1. blijven draaien met de hotfix oplossing zoals hierboven beschreven.

Version: 6.0.2-8451-2

(2016/10/06)
Important Note
The update is expected to be available for all regions within the next few days, although the time of release in each region may vary slightly.
Fixed Issues
Fixed an issue where SHA may fail to set SNMP UPS.
Fixed an issue where Synology E10G15-F1 NIC may disconnect under certain circumstances.
Fixed an issue where Full File Clone via VMware VAAI could cause NFS protocol to act abnormally under certain circumstances.
Fixed an issue where t page at Control Pannel > Domain/LDAP does not respond.
Fixed an issue where Snapshot Replication could not open normally in certain timezones.
Fixed multiple security vulnerabilities regarding curl module (CVE-2016-5419, CVE-2016-5420, CVE-2016-5421).
Upgraded OpenSSL to 1.0.2j to address multiple vulnerabilities (CVE-2016-6304, CVE-2016-2183, CVE-2016-6303, CVE-2016-6302, CVE-2016-2182, CVE-2016-2180, CVE-2016-2177, CVE-2016-2178, CVE-2016-2179, CVE-2016-2181, CVE-2016-6306 and CVE-2016-7052).
Fixed an issue where system resources are not released properly after QuickConnect is enabled.
Fixed an issue where file indexing is not triggered when files are uploaded through Samba protocol.

[itlee]

Vanochtend weer 2 vm's uit de lucht, Eventvwr geeft Retries op een disk waar die op wacht, kan een disk issue zijn of weer t zelfde gelul als hierboven. Smartscan loopt nu om de integriteit te controleren. is dat het niet dan ga ik toch weer bovenstaand activeren....

kzooi...

edit: na de toevoeging hierboven in de /etc/enzovoorts is er geen probleem meer voorgekomen.

Het is dus nog niet opgelost, ik ga t weer aanmelden bij Synology. je Caching op je kaart moet uit om 10gbit stabiel te krijgen op NFS.

[ Voor 29% gewijzigd door itlee op 08-11-2016 11:24 ]

[d.drenth]

Misschien dat de nieuwste versie je probleem oplost. Ik heb zelf net nieuw een DS3617xs met E10G15-F1 en loop tegen instabiele connecties aan, hoge ping, ping lost enz. Ik krijg het alleen nog niet voor elkaar om deze nieuwe firmware te installeren, bij het verifiëren van de update zet hij dat hij corrupt is, grrr.

Version: 6.0.2-8451-9

(2017/01/18)
Important Note
The update is expected to be available for all regions within the next few days, although the time of release in each region may vary slightly.
This update will restart your Synology NAS.
Fixed Issues
Enhanced the stability of Btrfs file system after an abnormal shutdown.
Enhanced the stability of iSCSI service.
Enhanced system stability when connecting via the SMB protocol.
Enhanced the stability of Synology E10G15-F1.
Fixed a security vulnerability regarding PHPMailer (CVE-2017-5223). Upgrading Photo Station to version 6.6.3 or above is required.

[stefansegers]

Ik probeer de tutorial door te lopen maar elke keer als ik met VI het bestand bewaar en vervolgens een herstart geef is de waarde 1 in plaats van 0. Als ik dan weer met VI het bestand open zie ik dat de laatst toegevoegde regel weer weg is.
Wat doe ik fout?

[itlee]

heb je via nano wel je bestand opgeslagen?

en zorg wel dat je geen tik fout maakt,...als je dat doet kan je je synology opnieuw installeren....
(ik heb dit probleem ook gehad met een latere build.)


ik moet zeggen in de de laatste release van 2019 is dit allemaal opgelost. dus je kan ook gewoon upgraden naar je laatste build van synology.

[ Voor 78% gewijzigd door itlee op 18-11-2019 14:29 ]

[stefansegers]

Dank je wel voor je snelle reactie.

Ik heb 6.2.2.24922 Update 4 draaien.. dat ik hier de laatste versie die ik kan installeren volgens mij.

Voor wat betreft ssh etc heb ik erg weinig verstand er van dus hoop niet dat ik iets kapot maak.. VI is echt iets nieuws voor me hihi.

wanneer ik VI opstart krijg ik deze melding

E325: ATTENTION
Found a swap file by the name "/etc.defaults/.modules.conf.swp"
owned by: root dated: Mon Nov 18 12:22:02 2019
file name: /etc.defaults/modules.conf
modified: YES
user name: root host name: DS3617xs
process ID: 28872
While opening file "/etc.defaults/modules.conf"
dated: Mon Nov 18 12:38:10 2019
NEWER than swap file!

(1) Another program may be editing the same file. If this is the case,
be careful not to end up with two different instances of the same
file when making changes. Quit, or continue with caution.
(2) An edit session for this file crashed.
If this is the case, use ":recover" or "vim -r /etc.defaults/modules.conf"
to recover the changes (see ":help recovery").
If you did this already, delete the swap file "/etc.defaults/.modules.conf.s
wp"
to avoid this message.

Swap file "/etc.defaults/.modules.conf.swp" already exists!
[O]pen Read-Only, (E)dit anyway, (R)ecover, (D)elete it, (Q)uit, (A)bort:

Ik druk vervolgens op E van edit

Dit zijn de regels die erin staan

module_pfe_args_comcerto2k="lro_mode=1 tx_qos=0 burnin_mode=0"
module_be2net_args_kvmx64="syno_hide_vf=0"
module_be2net_args_nextkvmx64="syno_hide_vf=0"
module_tn40xx_args_bromolow="paged_buffers=0"

De laatste regel is die je in je tutorial had geplaatst

Het lijkt erop dat het wel goed is opgeslagen?

Dit is wat ik terug krijg in Terminal

root@DS3617xs:~# cat /sys/module/tn40xx/parameters/paged_buffers
1
root@DS3617xs:~#

[stefansegers]

Ik weet trouwens niet of dit het zelfde probleem is wat jij hebt, maar ik ben al maanden bezig met Synology (die erg slecht reageren) om er achter te komen wat het probleem is. Ik heb 3 switches gekocht en heb nu de Unifi 6 port switch draaien.

Ook heb ik iets van 20 SFP+ stekkers en kabels gekocht om te er voor te zorgen dat ik de juiste apparatuur heb. Maar niets lijkt te werken.

Voorheen draaide ik al mijn apps die van buiten af bereikbaar moeten zijn over de 1G kabel en gebruikte ik de 10G kabel puur voor files uitwisselen met mijn MAC.

Nu ik je verhaal gelezen heb lijkt het erop dat al die APPS die draaien de 10Gkaart dusdanig belasten waardoor hij over zijn nek gaat

Het begint met dat de verbinding steeds trager wordt (meestal na zo'n 24-48 uur) en daarna valt hij uit en kan je er niets meer meer doen behalve de server resetten.