Synology opeens vrij traag (IOPS?)

[Pharos1985]

Beste,

Wij gebruiken al jaren een Synology RS818RP+ met daarin 8GB RAM.
In het toestel zitten 4 WD Gold schijven in een RAID5.
Met professionele backup software (Veeam) nemen wij iedere nacht een backup van al onze servers naar de Synology.
Deze backups zijn 3 jaar heel goed verlopen, op een 4-tal uur waren alle backups erdoor.
Sinds een maand of twee merken we dat de backups nu een 12-tal uur duren. Nochtans is er niet significant veel data bijgekomen (+5% op die 2 maanden).
Eerst dacht ik aan defecte schijf in de Synology: echter deze geeft aan gezond te zijn, een extended SMART test op alle schijven geeft aan dat alle schijven OK zijn.

Bij Veeam hebben we een support ticket opengedaan en deze verwijzen terug door naar Synology als oorzaak...
De read/write operaties zouden zéér lang duren.

Iemand een idee hoe ik kan starten met dit te troubleshooten? Het was het gemakkelijkste geweest mocht gewoon een defecte schijf de oorzaak van de performantie problemen zijn, maar dat is het helaas niet...

Synology is al herstart en dergelijke. Netwerk problemen zijn er niet: bij een copy van een file van 10gigabyte halen we makkelijk de 110megabytes/seconde (gigabit aangesloten).

Bedankt alvast!
Pieter

[hans_lenze]

Deze vraag heeft Veeam support vast ook al gesteld:
Wat voor soort back-up maak je? (Reverse/forward incremental met geen/active/synthetic full??)

[sOid]

Staat de virusscanner binnen Synology DSM toevallig aan? Mijn DS418Play is altijd een stuk trager als 'ie aan het virusscannen is. Waarschijnlijk is dat het niet, maar lijkt me wel de moeite waard om even na te gaan.

Kijk ook even bij je activity monitor (of hoe dat bij DSM heet) of je iets geks ziet.

[Pharos1985]

Beste,

Ik wist niet eens dat DSM een virusscanner had. Ik heb even nagekeken en die staat ingesteld om te scannen 1x per week en dat is zeker niet op de uren dat de backup loopt.

Wij maken in Veeam een incremental backup zonder synthetic full noch een active full... Ik heb 2 screenshots toegevoegd (1tje van de backup een paar maand geleden, 1tje van de backup speed die nu aan het lopen is :-)).

Veeam support zegt dat het aan de NAS ligt (en ik geloof dat ook eigenlijk wel). We gebruiken de Synology in Veeam als Linux target en niet als iscsi/CIFS/SMB target.
Volgende stap is vrees ik de Synology via iscsi aan de backup proxy, en dan dat target als ReFS formatteren om fast clone te kunnen gebruiken. Maar ik doe dat eigenlijk liever niet...
Tenzij iemand me natuurlijk kan helpen, ik snap totaal niet wat er mis zou kunnen zijn met de Synology.

Bedankt allen die me willen helpen :-)

[DonJunior]

Eerste wat in mij opkomt is een cryptolocker die 'rustig in de achtergrond alvast bezig is alles voor te bereiden.
Maar ik ben geen expert, helemaal niet zelfs, maar dat was wel mijn eerste gedachte.

[Pharos1985]

Laatste bericht van de support engineer van Veeam:

According to the logs, the job spends most of its time doing two operations: merging the oldest increment into the full backup and the health check. Both operations involve severe random IO load. I suspect the repository might not handle these operations well. Can you please test its random read and write performance? You can use fio utility for example:
Random read:
sudo fio --filename=%file_name_in_the_repository_directory% --rw=randread --runtime=600 --direct=1 --ioengine=libaio --iodepth=32 --numjobs=1 --bs=512
Random read/write (be careful with this one - do not use the real backup file because its contents will be overwritten, use a test file instead):
sudo fio --filename=%file_name_in_the_repository_directory% -size=20GB --rw=randrw --runtime=600 --direct=1 --ioengine=libaio --iodepth=32 --numjobs=1 --bs=512
If fio is not installed in your system, install it (refer to your distro manual for details). You can use any alternative IO testing tool (e.g. diskspd for Linux). Please share the testing results with us.

Als ik via SSH inlog op de Synology kan ik fio wel draaien, maar hij zegt dat de syntax niet juist is ('job not specified'). Andere tools om op Synology een deftige IOPS test te draaien?

Update: intussen heb ik in Veeam de Synology ook toegevoegd als NFS repository. Wanneer ik mijn huidige backup jobs in Veeam naar dat NFS repository stuur (en de backups dus ook 'remap') dan krijg ik terug een enorm aanvaardbare snelheid (nog altijd iets trager dan vroeger maar dat is vrij normaal omdat het NFS is vs datamover service uitgerold op de Synology zelf)...
Zeer raar, want het is naar exact hetzelfde volume...

[ Voor 14% gewijzigd door Pharos1985 op 23-05-2021 22:17 . Reden: Update omtrent situatie toegevoegd. ]