kleine files vs. grote files kopieren

[Verwijderd]

Hallo,

Ik heb de active topics nog niet uitgebreid doorgenomen, dus ben een klein beetje beschaamd om een topic te posten uit angst voor een RTFM reactie ;-) maar toch...

Kijk, ik heb hier een 100Mbit Lan met slechts 3 pc'tjes eraan en een Windows 2000 server met twee netwerkkaarten en Winroute NAT voor ADSL-toegang etc... werkt allemaal prima

Alleen:

het kopieren van files naar de server werkt zooooo traag bij veel kleine files (enkele kb's). Een file van 10Mb staat er in iets van 4 seconden op, dus dat klopt wel.

Weet iemand waarom de performance bij kleine files kopieren instort en nog beter... hoe los ik het op????

Veel dank,

Bas de Kort,
[e-mail]

[Battle Bunny]

schijf traag met seeken? Meerdere protocollen?

[_JGC_]

Groeten doen hoeft niet, daar heb je je sig voor

Verder kan je je waarschijnlijk wel voorstellen waarom kleine files zo traag gaan:
- die dingen staan er verspreid over je disk, dus veel seeks
- voor elk bestand gaat er met welk netwerkprotocol dan ook een lekker grote header mee
- voor elk bestand die je opvraagt moet eerst een lookup gedaan worden in de FAT, of iets vergelijkbaars voor je filesystem

Als je een groot bestand neemt:
- 1x header sturen, minder overhead
- 1x lookup in FAT
- verder is het een lange stream

Je kunt je wel voorstellen dat 1 groot bestand stukken sneller gaat dan allemaal kleine rotbestandjes. Compressie zou ook nog een rol kunnen spelen als je machines dat on the fly zouden doen: 1024 kleine bestandjes van 2 Kbytes/stuk kan je nou eenmaal niet zo samenpersen als 1 groot bestand van 2MB.

Als ik veel kleine bestanden over moet brengen van de ene naar de andere linux server, heb ik daar ook last van. Wat ik dan doe is gewoon alles in een grote tarfile stoppen en dan weer uitpakken aan de andere kant.

[ Voor 12% gewijzigd door _JGC_ op 02-05-2003 09:08 ]

[Verwijderd]

Test eens als je winroute tijdelijk uitzet.
Winroute kost vrij veel CPU als je de winroute machine ook voor filesharing gebruikt

[Verwijderd]

Verwijderd schreef op 02 May 2003 @ 09:17:
Test eens als je winroute tijdelijk uitzet.
Winroute kost vrij veel CPU als je de winroute machine ook voor filesharing gebruikt

Mja, dat maakt echt niet uit hoor. In zo'n geval is je CPU zeker niet de beperkende factor. Dat ligt echt bij het I/O-systeem. Zie daarvoor _JGC_'s reactie

[Brede P]

Is inderdaad vrij logisch dat bij veel kleine files het er langer over doet. Ik loop ook makkelijker een afstand met 1 grote doos die vol zit met 200 diskettes, dan dat ik diezelfde afstand moet overbruggen met 200 losse diskette's.
Als je het snel wilt doen, zippen of rarren.

[Verwijderd]

Ok ik snap dat het sowieso langer duurt vanwege alle genoemde redenen...

Maar als de teller oploopt naar een bizar groot getal?? (nog net geen floating point operation...) ...

In orde van grootte duurt het zo'n seconde per file om te kopieren... lijkt me dat het écht wel sneller kan...

(signature)