[XFS] Fileserver filesystem

[DexterBelgium]

MIjn situatie op dit moment:

Fileservertje, met volgende filesystemlayout:
3* maxtor 200Gig, met telkens drie parties:
hd*1 = 198 Gig
hd*2 = 1 Gig
hd*3 = 1 Gig

De hd*1's zijn samen in een Raid 5 mdraid-set gevoegd: 400GIG voor alles van filesysteem (in XFS) behalve /boot
de hd*2's zijn samen een raid 1 mdraid-set: 1 GIG voor /boot (Ext2) (omdat ik had gehoord dat je niet van een softraid 5 set kon booten).
de hd*3's zijn elk swap space (dus 3 gig swap in totaal)

Lang verhaal kort: nu heb ik al twee keer een harde reboot moeten doen (waaraan dat ligt moet ik nog even uitzoeken), en telkens is het resultaat dat mijn XFS filesystem corrupt raakt. Probleem is dan dat ik heel mijn server moet verplaatsen zodat ik er scherm en keyboard op kan aansluiten (wordt normaal remote bestuurd). Ik moet trouwens telkens (aangezien ik het filesysteem niet gemount krijg) met Xfs_repair -L werken (d.i. dat hij het nog "openstaande" logbestaand/journal vernietigt, en de waarschuwingen die je daarbij krijgt, daar word je niet vrolijk van).

Daarbij loop ik tegen twee problemen aan:

PROBLEEM 1: mijn (ik denk) usr/bin zit op de XFS Raid 5 set, dus moet ik om aan xfs_repair te raken, met een livecd booten. Hoe kan ik dit verplaatsen?

PROBLEEM 2: Dit is niet leuk . Dus, hoe vermijd ik dit? Iemand een magische truc om toch mijn XFS bestandssysteem na een harde reset te mounten en dan clean te unmounten, zodat ik de -L niet nodig heb? Of iemand een suggestie wat ik kan veranderen aan mijn setup om dit te vermijden?

[nzyme]

software raid5 booten kan wel hoor gewoon ff een 10MB partitie maken waarop je je kernel enzo zet en dan als boot=/dev/mda1 (Dacht ik) meegeven. (draai het zelf iig wel met 2x 18gb scsi raid mirror)

verder is een volgende indeling mss iets makkelijker gezien de "random ongevraagde reboots"

/ 1gb
/var 500mb
/tmp 500mb (noexec)
/home alle space die je dan nog over hebt en ook met XFS.
swapspace: 1GB is zat voldoende

met deze setup kan je altijd je systeem booten aangzien slechts /home XFS is

owja: 1GB voor /boot.... hoe groot denk je dat je kernel is

[ Voor 7% gewijzigd door nzyme op 06-07-2006 16:35 ]

[DexterBelgium]

Hellraizer schreef op donderdag 06 juli 2006 @ 16:34:
software raid5 booten kan wel hoor gewoon ff een 10MB partitie maken waarop je je kernel enzo zet en dan als boot=/dev/mda1 (Dacht ik) meegeven. (draai het zelf iig wel met 2x 18gb scsi raid mirror)

verder is een volgende indeling mss iets makkelijker gezien de "random ongevraagde reboots"

/ 1gb
/var 500mb
/tmp 500mb (noexec)
/home alle space die je dan nog over hebt en ook met XFS.
swapspace: 1GB is zat voldoende

met deze setup kan je altijd je systeem booten aangzien slechts /home XFS is

owja: 1GB voor /boot.... hoe groot denk je dat je kernel is

Hehe, Yeps, nu, in my defence: dat was dan ook het allereerste Linux systeem dat ik ever opzette (dan vind ik toch dat ik dat niet slecht gedaan heb)

De indeling die je voorstelt lijkt me idd (met wat ik nu weet (ook nog niet veel, ben maar een maandje of twee drie mee aan het prutsen)) veel beter. Kan ik daar nog aan geraken nu, met het systeem zoals ik het nu heb (maw, is het mogelijk om dit te veranderen bij een "werkend" systeem?). If so, hoe dan?

[nzyme]

nou, je geeft zelf al aan dat je beginner bent dus ik zou ff een xterne disk ofzo pakken en gewoon opnieuw beginnen Daar leer je beter van dan wanneer je ook nog s rekening moet houden met belangrijke data die je nog moet behouden

waarom gebruik je trouwens XFS ? Das volgens mij alleen handig voor een fs met veel bestanden van een X aantal GB groot... /me moet ineens denken aan een fileserver waar waarschijnlijk dvd's opstaan...
Lijkt me toch dat xfs slechts om de hoek komt kijken als je ook daadwerkelijk die bestanden van vele GBs gaat BEWERKEN....

mss toch maar eens een google search op xfs gaan doen

[ Voor 46% gewijzigd door nzyme op 06-07-2006 21:13 ]

[_JGC_]

XFS is op zich niets mis mee, maar zorg wel voor een beetje recente kernel. Verder moet je er rekening mee houden dat XFS bestanden die op het moment van foutief afsluiten geschreven worden, bij de repair compleet overschreven worden met NULL-karakters. Dit kan heel vervelend zijn als jij net iets aan het wegschrijven bent en de stroom uitvalt of je systeem een harde reboot krijgt, wat je dus ook gemerkt hebt.
Waarom echter je hele filesystem onbruikbaar wordt is mij een raadsel, XFS is hier nog maar een keer dusdanig gesloopt dat het niet automatisch te recoveren was, en dat was bij een gevalletje waarbij de harddisk zelf niet helemaal fris was.

Je partitielayout zoals die is is redelijk bruikbaar, echter zou ik nog wel wat ruimte reserveren voor swap en je /boot kan wel wat kleiner. Mijn persoonlijke mening over de indeling:

hd?1: 4-8GB /, XFS, RAID-1
hd?2: 1GB swap, geen RAID, activeren met pri=1 in fstab zodat ze interleaved werken
hd?3: rest /home, XFS, RAID-5

Een losse /boot is allang niet meer nodig, een fatsoenlijke root partitie is voldoende tegenwoordig. Verder raad ik je aan om mdadm te gebruiken voor het aanmaken van je RAID sets en niet de oude tools zoals raidtools. Het gebruik van mdadm in combinatie met het linux RAID autodetect partitietype zorgt ervoor dat je zonder problemen met zowat elke livecd of rescuecd automatisch je RAID-sets ter beschikking krijgt.

[DexterBelgium]

Hellraizer schreef op donderdag 06 juli 2006 @ 21:09:
nou, je geeft zelf al aan dat je beginner bent dus ik zou ff een xterne disk ofzo pakken en gewoon opnieuw beginnen Daar leer je beter van dan wanneer je ook nog s rekening moet houden met belangrijke data die je nog moet behouden

waarom gebruik je trouwens XFS ? Das volgens mij alleen handig voor een fs met veel bestanden van een X aantal GB groot... /me moet ineens denken aan een fileserver waar waarschijnlijk dvd's opstaan...
Lijkt me toch dat xfs slechts om de hoek komt kijken als je ook daadwerkelijk die bestanden van vele GBs gaat BEWERKEN....

mss toch maar eens een google search op xfs gaan doen

Je slaagt eigenlijk de nagel op de kop (ook, en vooral, het stukje in het rood ). Misschien is XFS dus niet de juiste keuze voor mij, maar dat was de reden waarom ik XFS gekozen heb (en ook, gewoon, om een redelijk "geavanceerd" filesystem te gebruiken, waarvan iedereen mij zei dat het, oa door het "journaled" karakter, beter overweg kon met errors).

Google op XFS valt mij tegen kwa results, eigenlijk... Moet zeggen dat ik qua performance van mijn filesystem toch nooit te klagen heb gehad (heb de server eens meegehad naar een LAN (vlak voor de invallen hier in België waardoor LANs nu meer en meer "share"-vrij zijn), en die serverde toch makkelijk een MB of 40-50 constant op 8 FTP connections gelijk).

_JGC_ schreef op vrijdag 07 juli 2006 @ 09:11:
XFS is op zich niets mis mee, maar zorg wel voor een beetje recente kernel. Verder moet je er rekening mee houden dat XFS bestanden die op het moment van foutief afsluiten geschreven worden, bij de repair compleet overschreven worden met NULL-karakters. Dit kan heel vervelend zijn als jij net iets aan het wegschrijven bent en de stroom uitvalt of je systeem een harde reboot krijgt, wat je dus ook gemerkt hebt.
Waarom echter je hele filesystem onbruikbaar wordt is mij een raadsel, XFS is hier nog maar een keer dusdanig gesloopt dat het niet automatisch te recoveren was, en dat was bij een gevalletje waarbij de harddisk zelf niet helemaal fris was.

Je partitielayout zoals die is is redelijk bruikbaar, echter zou ik nog wel wat ruimte reserveren voor swap en je /boot kan wel wat kleiner. Mijn persoonlijke mening over de indeling:

hd?1: 4-8GB /, XFS, RAID-1
hd?2: 1GB swap, geen RAID, activeren met pri=1 in fstab zodat ze interleaved werken
hd?3: rest /home, XFS, RAID-5

Een losse /boot is allang niet meer nodig, een fatsoenlijke root partitie is voldoende tegenwoordig. Verder raad ik je aan om mdadm te gebruiken voor het aanmaken van je RAID sets en niet de oude tools zoals raidtools. Het gebruik van mdadm in combinatie met het linux RAID autodetect partitietype zorgt ervoor dat je zonder problemen met zowat elke livecd of rescuecd automatisch je RAID-sets ter beschikking krijgt.

Gebruik Ubuntu Dapper (dus 2.6.15 Kernel, denk ik) en Mdadm (is EVMS de moeite om mij in te verdiepen?).

Ik kreeg bij het terug opkomen (na harde reboot) telkens de melding dat hij niet kon mounten (XFS error 5), en die kon ik, zoals gezegd, enkel repareren door de log/journal te zero'en. Hoe dat nu komt, daar ben ik dus echt nog niet uit. Mss eens logs gaan checken, waar vind ik de XFS-gerelateerde messages?

Het wijzigen van mijn bestaande lay-out is dus best niet te doen zonder backup. Vraag is natuurlijk waar ik dat allemaal ga neerpleuren (een 400 Gig ext schijf heb ik niet). Verrassend genoeg is op die LAN die 400 Gig nagenoeg gevuld geraakt... ach ja, we zullen wel zien.

[satcp]

Hellraizer schreef op donderdag 06 juli 2006 @ 21:09:
waarom gebruik je trouwens XFS ? Das volgens mij alleen handig voor een fs met veel bestanden van een X aantal GB groot... /me moet ineens denken aan een fileserver waar waarschijnlijk dvd's opstaan...
Lijkt me toch dat xfs slechts om de hoek komt kijken als je ook daadwerkelijk die bestanden van vele GBs gaat BEWERKEN....

Dat is in mijn opinie een fabeltje of alleszins tegenwoordig niet langer zo. Ook bij kleine bestanden kan XFS goed volgen. Er zijn natuurlijk wel snellere filesystems voor kleinere bestanden, maar XFS heeft tal van andere voordelen. Na omzwervingen van ext2 naar ext3 en vandaar naar ReiserFS en de nachtmerrie van Reiser4 ben ik uiteindelijk bij XFS beland en ik moet zeggen dat dit filesystem me erg goed bevalt. Het filesystem heeft nadelen waar je goed rekening mee moet houden, maar als je dat doet behoort het tot de absolute top. Voor een desktop zou ik het niet meteen aanraden (als je systeem crasht kun je potentieel veel data verliezen met XFS), maar voor een server en met name een fileserver die stabiel draait en voorzien is van een UPS is XFS een uitstekende keuze. Trouwens de topic starter heeft het over een fileserver, dus zo'n gekke keuze is het niet...

Wat lectuur en benchmarks:

Filesystems (ext3, reiser, xfs, jfs) comparison on Debian Etch (hansivers)
Benchmarking Filesystems Part II (Justin Piszcz)

Zoals je kan zien komt XFS daar globaal bekeken goed uit en ook de auteurs van die artikels raden XFS aan. JFS ziet er trouwens ook wel indrukwekend uit, maar heb ik persoonlijk geen ervaring mee.

DexterBelgium: Ik zou zelf ook opteren om enkel je /home op een XFS volume te zetten. Zelf heb ik in mijn fileservers steeds een aparte bootdisk (ext2/3) terwijl de /home op een XFS volume staat dat op zijn beurt weer op een hardware RAID5 set staat. Dat heeft natuurlijk wel als nadeel dat wanneer die ene bootdisk het opgeeft de hele meuk hangt. Maar ik heb daar backups van en er slingert altijd wel een reserveharddisk rond zodat ik in een wip weer vertrokken ben. Ik ben wel van plan om op termijn RAID1 te gebruiken hiervoor, maar voorlopig vind ik het nogal stom om bv tweemaal 80GB aan bootdisks te steken als je Linux daar misschien op en al een paar gigabyte in beslag neemt. Dus uit kostprijsoverweging is uw systeem natuurlijk wel interessanter. Je moet alleen een betere keuze van filesystems maken