[Linux] Geschikt FS voor archief

[MindStorm]

Voor een archief ben ik op zoek naar een filesystem met een goede performance wat betreft relatief kleine bestanden. De grootte van deze bestanden is tussen de 1KB en 10MB, maar niet groter. Het gaat om gegevens die lang bewaard moeten worden (denk aan 5 jaar of langer), maar tijdens die periode wel beschikbaar moeten blijven.

De grootte van het archief is flexibel, maar de partitiegrootte is naar verwachting tenminste 2TB+. Uiteraard heb ik zelf ook even rondgegoogled en wel wat informatie wat betreft de maximumgrootte tegengekomen, maar (nog) geen bruikbare informatie wat betreft de performance.

Heeft iemand goede (of juist slechte) ervaringen met FS-en?
Welke FS kan volgens jou het beste worden gebruikt (wat betreft de veiligheid)?

[Verwijderd]

http://en.wikipedia.org/wiki/Comparison_of_file_systems



-edit: ik zeg XFS

[ Voor 14% gewijzigd door Verwijderd op 12-02-2007 17:04 ]

[Brent]

Ik zou ext3 nemen. Waarom? Tried en tested en buitengewoon betrouwbaar. Je maakt een archief dus dan staan die eigenschappen voorop. Efficientie en snelheid valt over te twisten, maar daar ben je niet in eerste instantie in geinteresseerd. Bovendien ondersteund zo'n beetje alles wel ext3, geen Linux-distro die er niet out-of-the-box mee kan werken.

[Jungian]

Ik heb 640 GB aan informatie op 2 ReiserFS HDD's staan. Ideaal bij erg kleine bestanden (waar het voor gemaakt is). Ext3 is ook een erg solide keuze (en met wat tweaks qua performance goed recht te trekken richting ReiserFS). Reiser4 is eigenlijk nog mooier voor jouw doeleinde, aangezien het weer een stuk sneller is dan ReiserFS (maar ik zou er alleen m'n data nog niet aan toevertrouwen atm).

[Cyphax]

Ik heb ook goede ervaringen met ReiserFS, versie 3. Ext3 lijkt me iets beter ondersteund door bijv. Windows dan ReiserFS, mocht dat interessant zijn (maar zodra je via het netwerk de boel toegankelijk maakt niet meer zo). XFS zou ook erg goed moeten zijn, daar heb ik niet zoveel ervaringen mee.

[jealma]

Heb XFS op een raid array van 2 terabyte, waarvan 1.5 gevuld. Werkt perfect.

[Verwijderd]

Hoe groot zijn de verschillen tussen verschillende filesystems eigelijk? Ik heb altijd ext2 en ext3 gebruikt, maar ik ben benieuwd of een systeem als JFS, XFS of Reiser de performance merkbaar verbeterd bij allerhande standaard desktop werk (dus geen server die enorme hoeveelheden requests per seconden moet kunnen uitvoeren ofzo).

[jealma]

Ik denk zowiezo niet dat je het verschil tussen filesystems kunt merken bij desktopgebruik. Alleen bij specifieke taken, zoals het alleen maar werken met grote bestanden a la 1+GB of het werken met duizenden kleine bestanden <8KB, zou het invloed kunnen uitoefenen.

@TS: Zowel JFS als XFS zijn voor opslag van data wel geschikt. Eigenlijk zijn ReiserFS en ext3 ook geschikt, maar ReiserFS kun je mischien beter van af zien na de kwestie met de vrouw van Hans Reiser, en ext3 is niet zo'n goede keus omdat veel mensen erover klagen dat het traag is.

[Jungian]

jealma schreef op maandag 12 februari 2007 @ 18:28:
...maar ReiserFS kun je mischien beter van af zien na de kwestie met de vrouw van Hans Reiser...

Dat laat misschien z'n sporen na op bij Reiser4, maar zeker niet bij ReiserFS.

[Verwijderd]

ext3 is aan de andere kant wel een stuk sneller dan XFS, maar als je via windows drivers (ext2fs)
op ext3 partities gaan lopen hannese kan je geheid problemen verwachten.

[begintmeta]

reiserfs (juist ook 3) heeft niet zoveel maintainers/developers voor zover ik weet, in tegenstelling tot bijvoorbeeld ext3(/4). XFS heb ik tijden gebruikt als standaard FS met Ubuntu, stabiel, goede features, ook wel aardig snel (zijn een hoop benchmarks te vinden van alle filesystems).

Wat betret de TS een opmerking, de spreiding in de bestandsgrootte is wel interesssant, 1KB tot 10MB is nogal een verschil, een hoop mensen zullen een bestand van 1MB al lang niet meer klein noemen trouwens. Het beste kun je wat gegevens verzamelen over bestands/directory -aantallen en groottes en en gebruik, dan op basis daarvan een simulatie draaien met voor zo'n spreiding getunede filesystems. Ik zou dan in eerste instantie denken aan ext3, reiserfs, xfs en ufs2, heb zelf eigenlijk een zwak (niet perse rationeel) voor xfs. ext3 is de "veiligste" keuze

[ Voor 5% gewijzigd door begintmeta op 12-02-2007 19:40 ]

[smesjz]

Heb ook een zwak voor XFS en gebruik het al sinds dat het beschikbaar is uit de oude kernel trees van SGI (kernel 2.4.2) en voordat het in de mainline kernels kwam.
Als je veel kleine bestanden hebt kan je kiezen voor een kleine blocksize, XFS biedt 512byte tot 64kbyte en het biedt wat meer flexibiliteit dan ext3.

Als extra kan je je filesystem mounten met noatime, dit scheelt veel performance.

Ik weet van vroeger dat gegevens verwijderen van een XFS partitie erg langzaam was, weet niet of dat inmiddels al wat sneller is geworden.

Je zou kunnen gaan voor LVM met XFS er bovenop.

Ik zou me niet te veel aantrekken van benchmarks e.d. aangezien er alleen maar data bijkomt.

Maar als je harddisks stuk gaat maakt het niet uit welk FS je hebt, daar kunnen ze gewoon slecht tegen. Stroomkabel er uit trekken overleven de meeste wel, maar hardware problemen niet.

ext3 blijft een veilige keus, maar het heeft ook genoeg nadelen ivm de compabiliteit met ext2.
Mijn voorkeur gaat uit naar XFS, maar iets als ZFS van Sun lijkt me ook wel wat. Maar dan wel met Solaris als OS want een userland filesystem lijkt me erg traag.

[DogMatica]

Misschien ZFS onder Opensolaris?

[MindStorm]

DogMatica schreef op dinsdag 13 februari 2007 @ 01:16:
Misschien ZFS onder Opensolaris?

Nee, het gaat specifiek om een linuxsysteem, RHEL om precies te zijn.

Ik zal zelf een benchmark draaien met een paar van de kanshebbers, thanks voor de input

[ Voor 17% gewijzigd door MindStorm op 13-02-2007 13:52 ]

[Verwijderd]

Ik ben nieuwsgierig wat er in dat geval uit die benchmarks komt. Wil je dat posten als je dat hebt gedaan?

[ajvdvegt]

@smesjz: het verwijderen van veel bestanden van een XFS gaat nog steeds niet bijzonder snel. Voor de rest idd een prima FS.

[smesjz]

ajvdvegt schreef op dinsdag 13 februari 2007 @ 23:53:
@smesjz: het verwijderen van veel bestanden van een XFS gaat nog steeds niet bijzonder snel. Voor de rest idd een prima FS.

Nou ja, bij een archief waar TS het heeft zal het verwijderen van data niet zo snel gebeuren dat het een optie is. Tenzij je 20 kernel trees gaat unzippen en vervolgens deleten als benchmark, maakt dat lijkt me niet realistisch.

Ben benieuwd hoe TS z'n benchmark gaat uitvoeren.

[MindStorm]

Het gaat in dit geval inderdaad vooral om het schrijven (en vervolgens wellicht indexeren) van data. Het idee is om een machine in te richten met een aantal partities, waarvan een grote voor data.

Een groot aantal files van willekeurige grootte nemen, gewoon uncompressable junk, en deze random naar de data-partitie kopieren?

Vervolgens de partitie omzetten naar het andere type, en kijken of dat performancewinst oplevert.

Zou dat een redelijk betrouwbare test opleveren, er vanuit gaande dat ik steeds dezelfde data, op dezelfde partitie (als in op dezelfde plaats op de schijf), op het zelfde systeem uitvoer?

[blaataaps]

Ben je nu niet veel te werk aan het doen voor dingen die er niet zo toe doen? Voldoet een filesystem dat op de meeste gebieden (behalve betrouwbaarheid natuurlijk) redelijk tot goed scoort niet gewoon klaar? Je wil backuppen, en 5 jaar bewaren, ik neem aan dat die 2TB dus niet elke dag anders is (dus geen extreme eisen qua access times zoals een news-server ofzo) en als je in de loop der tijd die 2TB verzamelt is een paar % snellere schrijfsnelheid ook niet zo boeiend lijkt me. En 1 of 2% winst bij het terugzetten van een backupje lijkt me in de meeste gevallen ook niet zo heel belangrijk?

[Verwijderd]

Dus, gewoon conservatieve keuze, en ga voor ext3.
Ga voor zekerheid.

[MindStorm]

wellicht inderdaad beter...

Het gaat overigens om 2TB+, die in minder dan een maand kan worden verzameld (in het meest ongunstige geval), dus vandaar dat ik het me even aan het afvragen was =)

[ Voor 75% gewijzigd door MindStorm op 14-02-2007 12:00 ]

[begintmeta]

al zou het in 10 dagen zijn, nog maar 2,5MB/s volgens mij. Wel schrijf je ook in de TS dat de gegevens beschikbaak moeten blijven. Hoe intensief beschikbaar is dan de vraag, en zullen gegevens "tegelijk" geschreven en gelezen moeten worden enz enz. Misschien is het handig als je de concrete toepasssing geeft, dan zijn makkelijker zinvolle uitspraken te doen. Het beste is natuurlijk als je het gebruik gewoon goed bedenkt/dan eventueel simuleert (of meteen al simuleert, maar dat is niet makkelijk omdat je blijkbaar niet weet hoe snel de gegevensverzameling zal groeien) en dan vergelijkt.

[MindStorm]

begintmeta schreef op woensdag 14 februari 2007 @ 13:00:
Hoe intensief beschikbaar is dan de vraag, en zullen gegevens "tegelijk" geschreven en gelezen moeten worden enz enz.

Hoe intensief beschikbaar is ook niet helemaal duidelijk, hoogstwaarschijnlijk is dat afhankelijk van de snelheid waarop de hoeveelheid data groeit, en hoeveel mensen er gebruik van het 'zoeksysteem' kunnen gaan maken. Gegevens zullen vrijwel nooit 'tegelijk' geschreven en gelezen worden, in principe is het bijna continue schrijven, afentoe lezen.

[MindStorm]

Na even wat verder te hebben gelezen wat betreft filesystems heb ik het volgende gevonden.

quote: http://en.wikipedia.org/wiki/ReiserFS

Some directory operations (including unlink(2)) are not synchronous on ReiserFS, which can result in data corruption with applications relying heavily on file-based locks (such as mail transfer agents qmail[3] and Postfix[4]) if the machine halts before it has synchronized the disk

ReiserFS zou in dit geval afvallen en ext3 wordt interessanter, aangezien het om een soort van e-mailarchief gaat. Ik vraag me echter af of dit bij alle MTA's opgaat, maar het risico kan ik eigenlijk niet nemen

Ik zal volgende week even kijken wat betreft de 'benchmark', mocht die succesvol uitgevoerd kunnen worden.

[begintmeta]

ben benieuwd wat je uiteindelijk gaat kiezen. nog wat leesvoer (er zijn tientallen andere, beknopeteree en veel uitgebreidere pagina's te vinden)