Linux/ext3 file-deletes traag

[JF_]

Hardware: dual opteron, 8G ram, 12x500G in een raid6 config met 64k stripe (Areca controller, 256Mbyte onboard cache).
OS: Linux, 2.6.13.3 kernel, x86_64 uiteraard.
Filesystem: ext3, 4k blocks, 'mke2fs -j -R stride=16'

De test: eenvoudig scriptje dat onafgebroken files aanmaakt, en leest/schrijft met een random blocksize, en (indien write) een filegrootte tussen 0 en 1Gbyte. En om 'm lekker bezig te houden doen we dat niet 1 keertje, maar met 16 scripts tegelijk.
Test is prima doorstaan, schijven zijn lekker warmgestookt, alleen nu wil ik die files weer opruimen voor een volgende test. 't Is een enkele directory met zo'n 25000 files, totaal 3.5 Terabyte aan data. Removen van een file gaat extreem langzaam, nu al dik twee uur bezig en er staan nog steeds duizenden files.
Diskstats (iostat -x) laten zien dat de schijf vol belast wordt (>80%), met een doorvoer van <500kbyte per seconde. Hij leest dus extreem non-sequential.

Nou is 't wel een heel extreme test, en zal 'ie in de praktijk nooit meer voorkomen (kom op, 3.5Tbyte in 25000 files vind je normaal gesproken niet in 1 folder), maar moet ik me hier zorgen om maken en is er misschien een ext3-optie die ik vergeten ben?

[Coen Rosdorff]

Ext3 is traag in verwijderen, en is traag met veel files in één directory. Dat kan je in verschillende benchmarks van ext3 tegen andere filesystems wel terug vinden.

Veel files in één directory verwijderen zal wel niet veel sneller worden

[Verwijderd]

Of je werktbij XS4ALL en bent met de nieuwe SM aan het spelen, of je doet aan pr0n

Je moet reiserFS draaien voor veel files en veel data dus de verhouding veel files met weinig data is groot.

[Coen Rosdorff]

Of een newsserver of....... nog 100 mogelijkheden.

XS4all doet voor de newsserver tegenwoordig veel met XFS geloof ik.

[JF_]

Nee, ik speel niet bij XS4All met newsserver, en 't is ook geen pron-, divx-, of andersoortige bak :-)
Er zijn ook bedrijven die serieus werk doen waar veel storage voor nodig is.

Ik had inderdaad al gelezen dat ext3 (en xfs ook, btw) traag is met deleten van files, maar er is een verschil tussen 'traag' en minder dan twintig files per 10 seconden. Ik kan reiserfs en xfs proberen, maar die hebben ook weer zo hun eigen nadelen - tijd voor een vergelijkende benchmark :-)

[Verwijderd]

Ik zie het nadeel van reiserFS niet hoor.