Synology Drive Server / Client traag

[filipy23]

Heb een nieuwe PC dus dacht ik synchroniseer mijn synology gewoon even door de Synology Drive Client te downloaden en de folders te syncen. Het betreft circa 2 TB aan data maar zijn wel heel veel files (1m+). Alleen: het gaat allemaal erg traag.

Opstelling:
Nieuwe PC met 2.5 Gbit Controller via 1GBPS verbinding naar gigabit netwerkswitch via 2x 1GBPS verbinding naar Synology DS923+ met twee geraide schijven (standaard Synology protocol).

Wat ik merk is dat bij grotere files de performance wel 1 gbps haalt maar bij kleine files niet. Dan zakt de snelheid in elkaar en doet hij redelijk niks. Het enige constante is dat er circa 40 files per 3-4 seconden worden gesynced met Synology Drive Client. Zowel de load op de NAS (~10%) en de PC (~30% CPU) zijn niet noemenswaardig.

Als ik de data direct download vanaf de NAS haal ik wel de 1 GBPS.

Mijn diagnose: De applicatie Synology Drive Server / Synology Drive Client is gewoon erg bagger in het syncen van files. Iemand hier zelfde of juist andere ervaringen met deze app? En hoe dat te fixen? Of overstappen naar andere apps? Files syncen was toch wel een beetje de core reden dat ik die Synology heb gekocht...

Na lang zoeken lijkt het erop dat Synology Drive Client met grootte directories de boel gewoon helemaal niet aankan:
https://community.synology.com/enu/forum/1/post/160002

[ Voor 9% gewijzigd door filipy23 op 05-10-2025 09:17 ]

[sypie]

Met veel kleine bestanden zit je ook met een enorme overhead.

Dat je beide poorten van je NAS aangesloten hebt is mooi, heb je ze ook ingesteld staan als één poort? Weet je netwerkapparatuur dat ook? Zorgt dit er ook voor dat jouw pc, die maar één aansluiting heeft, ook een hogere datasnelheid doorkrijgt?

[filipy23]

sypie schreef op zondag 5 oktober 2025 @ 09:18:
Met veel kleine bestanden zit je ook met een enorme overhead.

Dat blijkt. Kan het helpen om mijn Folders verder te partioneren? DUs 10 folders los als sync in te stellen in plaats van 1?

Dat je beide poorten van je NAS aangesloten hebt is mooi, heb je ze ook ingesteld staan als één poort? Weet je netwerkapparatuur dat ook? Zorgt dit er ook voor dat jouw pc, die maar één aansluiting heeft, ook een hogere datasnelheid doorkrijgt?

Die tweede poort heeft sowieso weinig zin, alleen als er meerdere mensen de synology simultaan gebruiken (vrijwel nooit). Maar ik dacht ik meld het voor de volledigheid. Maar lijkt niet het probleem te zijn, want direct download van de synology (dus inloggen op de synology, naar de file server gaan en daar de files downloaden) haal ik wel minutenlang 1 gbps. Dus het is echt de Synology Drive app die moeite heeft om de Sync aan te sturen.

Nog even het totale aantal bestanden opgevraagd.

Betreft een map met 187k foto's en 1100 mappen van circa 1TB
En een map met 254k bestanden en 12000 mappen met back-ups van oude computers; ook circa 1TB.

Heb nu in een uur of 7 ongeveer 150k bestanden gesynced. Dus ongeveer halverwege. Interessant genoeg zie ik dat er een zogenoemde SynologyWorkingDirectorty is (hidden) waar bij de fotos ruwweg 400k bestanden in zitten van totaal 50 GB. Blijkbaar gebruikt hij deze om de boel te syncroniseren is hij daar waarschijnlijk zo druk mee bezig.... Andere map heeft ook zo'n working directory met een footprint van 30GB (160k files)... En die files staan allemaal in 1 map. Volgens mij vind windows dat niet zo leuk....

[ Voor 29% gewijzigd door filipy23 op 05-10-2025 09:42 ]

[Microkid]

Sowieso even wat tunen:
- Jumbo frames aanzetten op de NIC in je pc
- “Enable Large Send Offload (LSO)” en “Enable Receive Side Scaling (RSS)”
- Jumbo frames aanzetten op de Syno
- SMB3 als preferred prototocol op de Syno
- SMB multichannel activeren op de Syno

[Ben(V)]

Twee nics aansluiten doet niets voor de throughput vanaf een device er wordt er maar een gebruikt.
Je kunt enkel de tweede nic gelijktijdig gebruiken vanaf een tweede device.

Jumbo frames voegt niets toe, en bij veel kleine bestanden gaat het zelfs langzamer worden.
LSO is tegenwoordig ook onzin, dat stamt uit de prehistorie toen er nog heel weinig cpu power was.
Smb multichannel aanzetten levert alleen iets op als je in die PC ook twee nics zou hebben.

Met een 2,5Gb nic in je PC en twee 1GB nic in je Nas blijft de maximale snelheid 1Gbps en veel kleine bestanden levert nu eenmaal heel veel overhead op zowel op de PC als op de Nas kant(dubbel dus).

[filipy23]

Waar zit die overhead dan? Want zowel mijn PC als mijn NAS hebben het nergens echt druk.





Enige wat ik me kan bedenken is dat de Random Read Speed van de HDD in de NAS achterblijft....
Maar in de NAS zitten twee schijven die gemirrored zijn uitgevoerd, dus ook daar verwacht je wel wat meer snelheid dan 10 files per seconde...

[ Voor 82% gewijzigd door filipy23 op 05-10-2025 14:40 ]

[Ben(V)]

De overhead zit in het filesysteem.
Jij denkt in aantallen bytes/sec, maar bij kleine bestand ben je per bestand 2 tot 3 keer zoveel tijd kwijt met het bijwerken van de administratie van het filesysteem als voor die bytes te verplaatsen.
Er is echt niets aan te doen.

En een mirror doet echt helemaal niets voor de snelheid.
Het bijwerken van de administratie moet dan zelfs op twee disken gebeuren in plaats van op een.

Zie het als een tolpoort op een snelweg van 5 Km, je komt met 120 km/uur aan en rijd daarna weer weg met 120 Km/uur, maar de tijd die je over die 5 Km doet wordt voornamelijk door administratie bij die tolpoort bepaalt.
Maar als de weg 200 Km is dan valt die tijd die je bij de tolpoort verbruikt bijna helemaal weg.
Zo ook met kleine bestanden versus grote bestanden.

[ Voor 31% gewijzigd door Ben(V) op 05-10-2025 16:42 ]

[filipy23]

Ben(V) schreef op zondag 5 oktober 2025 @ 16:36:
De overhead zit in het filesysteem.
Jij denkt in aantallen bytes/sec, maar bij kleine bestand ben je per bestand 2 tot 3 keer zoveel tijd kwijt met het bijwerken van de administratie van het filesysteem als voor die bytes te verplaatsen.
Er is echt niets aan te doen.

En een mirror doet echt helemaal niets voor de snelheid.
Het bijwerken van de administratie moet dan zelfs op twee disken gebeuren in plaats van op een.

Zie het als een tolpoort op een snelweg van 5 Km, je komt met 120 km/uur aan en rijd daarna weer weg met 120 Km/uur, maar de tijd die je over die 5 Km doet wordt voornamelijk door administratie bij die tolpoort bepaalt.
Maar als de weg 200 Km is dan valt die tijd die je bij de tolpoort verbruikt bijna helemaal weg.
Zo ook met kleine bestanden versus grote bestanden.

Ik heb het toch over de Random read speed van de fysieke HDD? Daar moet toch ergens de bottleneck zitten? Jij suggereert hier dat hoe dik je setup ook is je nooit sneller kan dan 5km door de tolpoort kan. Dat lijkt mij niet waar. In mijn computer zit een SSD met een IOPS van meer dan een miljoen. Dan zou een paar duizend files per seconde geen probleem mogen zijn. De fysieke HDD heeft een IOPS van 50-100, dus ook daar zou je bij kleine files verwachten dat je er best wat op kan pikken (i.e. in mirror 100 per sec). Het enige wat ik kan bedenken is dat de Synology NAS ook ergens bijhoudt wat er wordt verstuurd zodat je toch weer moet schrijven aan de verzend-zijde. Dan heb je inderdaad niks aan de mirroring en ben je waarschijnlijk meerdere IOP per file kwijt.

[Ben(V)]

Ik zou zeggen, probeer het eens lokaal zonder het lan en je Nas, dan zul je zien dat veel kleine files kopieren vele malen trager is dan een grote en dat het weinig te maken heeft met de hoeveelheid bytes.

[Tortelli]

Alleen op een SSD gaat dat relatief vlot, en dan nog kom je niet in de buurt van theoretische snelheden. Ken dit probleem ook op een Synology (en desktop) die op 10Gbit draaien met een sloot geheugen etc. Kleine bestanden zijn gewoon traag....

Met foto's(~2-10MB per stuk) kom je niet boven de 100-150MB/s uit.

[Rieverst]

Ben(V) schreef op zondag 5 oktober 2025 @ 23:36:
Ik zou zeggen, probeer het eens lokaal zonder het lan en je Nas, dan zul je zien dat veel kleine files kopieren vele malen trager is dan een grote en dat het weinig te maken heeft met de hoeveelheid bytes.

Volgens mij had TS al gemeld dat het rechtstreeks veel sneller gaat.....

Mijn ervaring is dat de Drive-client een draak van een ding is. Qua snelheid haalt hij het bij lange niet in vergelijking met de OneDrive-client naar Microsoft. En hij vertraagt de PC op onmogelijke momenten, waarschijnlijk om z'n sync-database weer op orde te krijgen.

Positieve is dat als hij het doet wel ongeveer dezelfde funktionaliteit als OneDrive heeft.... ;-)

[Ben(V)]

Uiteraard is drive niet geschikt om backups mee te maken of grote hoeveelheden data mee over te zetten.
Daar zijn andere tools voor.
Maar het feit blijft dat grote aantallen kleine bestanden altijd heel erg traag is en blijft welke tool je ook gebruikt.
Ook een gewone kopie op helzelfde systeem naar twee verschillende disken blijft traag.