[SLES9] FS keuzes en NFS parametrisering voor file server?

[Renegade]

Dames en heren...

Ik zit met een probleem wat niet heel erg alledaags is, en zowel het forum als google hebben me nog niet echt een goed antwoord op mijn vraag kunnen geven, vandaar dat ik de vraag hier stel.

Een korte situatieschets is als volgt. We hebben een HP DL585 (2x 2.5 Ghz DC, 4GB, 2x QLogic Corp. QLA2312 HBA) die draait op SLES9 met daar aan vast een MSA1500 met 16,8 Tb die dienst doet als NFS server voor een VmWare Virtualcenter. Op deze NFS server worden hoofdzakelijk de templates en images opgeslagen en weer verdeeld. De bestanden zijn dus over het algemeen relatief groot.

Een van de eisen die gesteld is, is dat we de LVM inzetten zodat we de plaats kunnen verdelen zoals we zelf willen en volumes groter en kleiner kunnen maken. Tot zover geen probleem. Het probleem is daarbij echter de keuze van het file system. Doordat we de eis groter én kleiner hebben en we eventueel nog verdere HBA's in de server gaan prikken en nog een MSA of een SAN gaan aansluiten hebben we de LVM nodig en is een JFS eigenlijk plicht. Daardoor heb ik wat problemen bij de keuze van mijn FS. De grootste LUN zou momenteel 13 Tb groot worden en dan zit ik met de volgende situatie:

• XFS: zou passend zijn, ik kan mijn FS echter alleen groter maken.
• JFS: zou passend zijn, ik kan mijn FS echter alleen groter maken
• Reiserfs: fsck werkt niet meer (blijkt uit een praktijktest)
• Ext3: Een erg trage fsck (+-1 uur per Tb, blijkt uit een praktijktest)

Ext3 ligt momenteel nog het meeste voor de hand, maar heeft iemand een aantal tips voor me hoe ik dat FS sneller zou krijgen bij zulke hoeveelheden? Of anders een ander alternatief FS?

Zaken die ik bij Ext3 overweeg als parametrisering:
dir_index (Use hashed b-trees to speed up lookups in large directories.)
blocksize aanpassen naarbijvoorbeeld 64Kb
FS check counter aanpassen zodat ik niet na alle $-reboots een standaard FS-check krijg

Verder ben ik aan het overleggen wat de optimale parametrisering voor de NFS-server of dat iemand daar nog een goede tip heeft?

[smesjz]

Je filesystem mounten met noatime scheelt al veel.

Ik zou toch gaan voor XFS, mocht een fsck toch nodig zijn is je systeem toch een lange tijd niet beschikbaar. Dat nadeel zou voor mij zwaarder moeten wegen dan het feit dat XFS alleen maar kan groeien (xfs_growfs).

Je opties voor ext3 lijken me voldoende, evt. kan er nog resize_inode bij.

[Renegade]

Kleine kick. Heeft iemand anders nog ervaringen hiermee?

[edit]
Kleine update:

Ik heb met de support van Novell gemailt en ook die kunnen me niet de indeale instellingen voor een dergelijke configuratie geven. De algehele aanbeveling was om in ieder geval een upgrade uit te voeren naar SLES 10.

Wat betreft de file systems in SLES 10:

• JFS: geen ondersteuning meer in SLES 10 vanuit Novell, en IBM heeft de ontwikkelin stopgezet
• XFS: Heeft de voorkeur, bij de versies van Reiser en Ext3 die meegeleverd worden liggen de grenzen bij 16 TB. Daarboven zul je dus niet om XFS heen komen (* Ding * Ding * Ding we hebben een winnaar ).
• ReiserFS: Tot 16 GB. Eerder geschikt voor kleinere bestanden, dus in dit geval niet optimaal.
• Ext3: Tot 16 GB. Zou in deze vorm beter geschikt zijn dan ReiserFS. In SLES 10 is het nu mogelijk om online te resizen en de dir_index switch is pas in versie 10 volledig geïmplementeerd en ondersteund.

Verder werden bij Ext3 inderdaad de settings die ik al uitgezocht had aanbevolen met de noatime schakelaar. Uiteindelijk zal het dus inderdaad XFS gaan worden. Blijft alleen de vraag nog met de nfs client/server parameters.

[ Voor 90% gewijzigd door Renegade op 23-02-2007 10:26 ]