ntfs compression -> performance winst mogelijk?

[Jrz]

Ik heb al een tijdje een theorie over (ntfs) folder compression.

Omdat de hardeschijf de traagste factor in een pc is, is het dan niet zo dat compression juist performance kan verbeteren?
Als je minder IO ops hoeft te doen naar / van disk, maar iets meer op de cpu / ram (de/compressie), is dat dan wel of niet sneller

Hoe trager de disk, hoe meer je het merkt natuurlijk (Ik heb het nu op een externe 2.5" usb disk aangezet)

Heeft iemand toevallig benchmarks hierover gezien een keer, of zelf eens iets getest?

[Razwer]

hij doet meer iops. door de compressie moet hij het eerst decompressen. Dat doet hij voor zover ik weet niet naar je RAM maar gewoon op je disk. Dus behalve cpu kracht creeer je ook meer iops.
Compression gebruik je in principe als je ruimte gebrek hebt of als je data over een replication link wil gooien met minder bandbreedte.

How To Use File Compression in Windows XP
Best practices for NTFS compression in Windows

If a program modifies data through mapped sections in a compressed file, the program can produce "dirty" pages faster than the mapped writer can write them.

volgens mij kun je hier uit opmaken dat de uncompressed files naar je pagefile gaan. hogere iops dus.

[ Voor 43% gewijzigd door Razwer op 18-09-2009 10:34 ]

[Jrz]

Hij decompressed toch niet naar disk?
Dat lijkt me een beetje dom zoals maxima het zegt

http://www.cnwrecovery.co.uk/html/ntfs_compression.html

Als compressie niet meer dan 1 cluster minder oplevert, wordt er niet gecompressed.


Als ik een file open dan leest hij hem -> 3 IO reads bijv
Die data wordt in memory gedecompressed (volgens mij?)
Als je het bestand dan wegschrijft, wordt hij eerst gecompressed, en dan weggeschreven.

Ik zie echt alleen maar voordelen op IO vlak gezien dan.

Ok bij VMs is IO vaak schaarser dan cpu (bij mij iig).
--
effe je linkies lezen

[Razwer]

ik denk dat je pagefile een optater krijgt en je netto meer iops zal produceren. uiteraard hangt dit ook af van het gebruik van je bak. Anderzijds... meten is weten

[Jrz]

Mja naja ik wil het eigenlijk alleen voor mn externe diskie gebruiken, omdat dat niet zo'n bijster snelle schijf is.

Maar een page hoeft niet perse op disk te worden opgeslagen.. Dat regelt je VMM allemaal

[Otherside1982]

Even vlug een testje gedaan met ATTO. Het resultaat verbaasde me nogal. Wat een onwaarschijnlijke scores.

Ik zal nog even kijken of ik het ook kan testen met CrystalDiskMark.

ATTO test zonder NTFS compression:


ATTO test met NTFS compression:

[ Voor 7% gewijzigd door Otherside1982 op 18-09-2009 13:18 . Reden: fixed labels van images ;) ]

[leuk_he]

Je moet echt meten met echte data. 0 bytes zolas atto doet compressen onwaarschijnlijk goed. . En met compressed krijg je meer fragmentatie he? nog beroerder, de interne defragtool van XP laat compressed files volgens zijn eigen rapportage gefragmenteerd.

[Razwer]

mjah vandaar dat ik zei dat het af hangt waar je je bak voor gebruikt. als je files gebruikt die onwijs compressed kunnen worden en je houd ze klein (let, pagefile is niet nodig) dan kun je in theorie wel winst pakken. Let wel dat voor grote files of files waar dus veel iops voor nodig zijn je geen winst en/of data corruptie kan krijgen.

edit: anderzijds vind ik de geposte atto bench met (?) ntfs compression er erg instabiel uit zien. vooral in vergelijking tot zonder. Dit zal vast te maken hebben met beschikbaar RAM.

[ Voor 21% gewijzigd door Razwer op 18-09-2009 12:19 ]

[Jrz]

Dat snap ik. Mijn USB diskie werkt redelijk snel (geen benches)
Maar ik ben ontwikkelaar, en dan heb je met veel text files te maken. Die comprimeren wel goed.

Leuke bench other Ook al is het waarschijnlijk met 0 wel goed te comprimeren, het bevestigt wel mijn voorgevoel, en dat je dus wel winst kan krijgen. De mate waarin je winst (of verlies) hebt zal idd sterk afhangen wat je doet. Mss dat je het pattern kan veranderen in die tool (staat trouwens 2x zonder compression boven je plaatjes )

Over defragmenteren weet ik niets eigenlijk icm compressie.

Met textures op videokaarten is het toch eigenlijk ook hetzelfde? Texture compression bestaat zodat je minder IO hebt.

[Otherside1982]

Die ATTO benchmark resultaten zijn inderdaad vreemd:
• een vreemde terugval bij blocksizes 128 tot en met 1024 bytes
• geen read bij blocksize 1024 bytes

ATTO schrijft wellicht inderdaad enkel 0 bytes, gezien de enorme verschillen. De verschillen zijn wel zo groot dat ik vermoed dat de NTFS compressie toch wel een verschil kan maken. Ik ga toch nog eens een paar andere testjes proberen draaien.

[Razwer]

het probleem met dit is is dat je maar op hoop van zegen moet hopen dat het direct in je RAM geladen wordt. Zo niet gaat ie pagen in je pagefile wat dus omgekeerde wereld teweeg brengt. Het volgende statement is niet volledig waar maar het komt er ongeveer op neer dat windows je RAM verlengd op je HDD (pagefile) en alles wat het doet verspreid het over dat memory block (zoals ik zei het is een stukje gecompliceerder dan dat).

Wanneer je ram dus vol loopt gaat ie naar de pagefile schrijven en *poef* daar gaat de performance.
*denkt hardop*
Als je een bepaald block zou kunnen allokeren (alloceren? engels, nl gemixte woorden, bah) voor compressed files zou de snelheid wel verhogen, komt dan op neer dat je een soort buffer maakt. Ik vraag me af of daar iets voor te schrijven valt (ben geen programmer).

[SysRq]

Ik heb het net even getest: 1.5GB aan data van één schijf naar een andere schijf:

Naar een map metntfs compression: 1 minuut en 10 sec, 21mb/s
Naar een map zonderntfs compression: 25 sec, 60mb/s

Lijkt me duidelijk dus.

[Nielson]

Heb het antwoord gevonden :

This test was by no means exhaustive, but I think I was able to capture a good cross-section of the files people have on their systems and what sort of performance to expect. As for answering the question: "Should I use NTFS compression?", the answer is a resounding: "It depends."

Hier de test, met grafiekjes .