Ervaring Clustered FS

[Li0nHeart]

Op dit moment hebben we een Fiber SAN gekoppeld aan een paar servers. Server 1 heeft een aantal luns op dit SAN, en 3 andere servers hebben, via een script, elke dag een nieuwe snapshot van Server 1 gemount.
Server 2 t/m 4 doen vrij intensieve leesacties op de bestanden van Server 1.

Nu worden de servers en het SAN vervangen binnenkort, en ik ben aan het kijken of er betere oplossingen zijn. Onder andere omdat de bestanden nu gemiddeld zo'n 12 uur oud zijn.

Ik dacht eerst ext3 read-only mounten aan Server 2 t/m 4, maar google verteld mij dat dit niet kan, ook al is het read-only.

Dus kom ik bij een clustered filesystem, bv GFS of OCFS2. Het laatste lijkt een stuk simpeler om op te zetten.

Heeft iemand ervaring met de performance van OCFS2. Is er een groot verschil met bv ext3?

[erwinb]

Je zou ook een NAS van b.v. NetApp kunnen overwegen, Deze doet o.a. NFS en los je het probleem daar op.
je kijk ook naar OCFS, gebruik je Oracle?
Dan zou je met een NetApp ook nog direct NFS van Oracle kunnen gebruiken.

Voor een clustered file systeem, via iSCSI of FC kan je ook eens kijken naar de MetaSan software van Tiger Technology. dit is een clusterd FS via FC voor zelfs een mix van windows linux en apple.

[u_nix_we_all]

Je zou ook eens naar DRBD kunnen kijken om je ext3 te repliceren. Nadeel is wel dat je dan wel genoeg storage op het andere systeem moet hebben.

Edit:
Misschien nog makkelijker: extra mirroring in je san gebruiken en die set splitsen ?

[Voor 21% gewijzigd door u_nix_we_all op 06-07-2011 20:28]

[real-doc]

u_nix_we_all schreef op woensdag 06 juli 2011 @ 20:18:
Je zou ook eens naar DRBD kunnen kijken om je ext3 te repliceren. Nadeel is wel dat je dan wel genoeg storage op het andere systeem moet hebben.

Met DRBD heb je precies hetzelfde probleem zolang je ext3 gebruikt. Je kan een ext3 filesystem niet op meerdere plekken tegelijk mounten; niet via een SAN, niet via DRBD, niet via iSCSI, niet via FC. Het transportmedium is in dit geval het probleem niet, maar je filesystem.

Ik verwacht een regen van mooie kernel OOPSjes en de meest vage problemen als je dit toch gaat doen. Ext3 is een intelligent filesystem. Wanneer er geen data naar je disk wordt geschreven vanaf een node, gaat het filesystem op die node er vanuit dat die data dus ook niet veranderd is. In dit geval, verandert die data echter wel, vanaf de schrijvende node. Deze schrijvende node heeft geen enkel mechanisme om de ext3-laag in je read-only nodes te vertellen dat (een gedeelte van) hun cache niet meer klopt en de inodes opnieuw vanaf de disk moeten worden gelezen. Resultaat is dat er caches worden gebruikt die niet meer kloppen op je read-only nodes.

Ik heb persoonlijk een voorkeur voor de RHCS met GFS, maar ik verwacht dat je met een NetApp doosje of een willekeurige andere NFS server, ook een goed resultaat kan bereiken. Nadeel daarvan is wel dat je een extra doos neer moet zetten, hetgeen natuurlijk kosten met zich meebrengt.

Om dan nog even op je vraag terug te komen; Clustered filesystems hebben altijd een performance penalty, maar die hangt heel erg af van het soort IO dat je doet. Benchmarken dus!

[Voor 5% gewijzigd door real-doc op 07-07-2011 11:33]

[u_nix_we_all]

real-doc schreef op donderdag 07 juli 2011 @ 11:32:
[...]


Met DRBD heb je precies hetzelfde probleem zolang je ext3 gebruikt. Je kan een ext3 filesystem niet op meerdere plekken tegelijk mounten;
[snip]

Ik heb het over repliceren, en niet een enkel FS op meerdere plaatsen mounten. Dus je mount een replica. Ik vraag me namelijk af of in dit geval een clustered filesystem de beste oplossing is.

[Li0nHeart]

Dank allen,

Replicatie zou inderdaad wel heel mooi zijn, maar kostentechnisch zal dat 'm niet worden.

We gaan een NetApp aanschaffen, het idee was om de huidige situatie over te nemen, dus FC.
Ik ga eerst eens even de DirectNFS onderzoeken.

[real-doc]

Li0nHeart schreef op donderdag 07 juli 2011 @ 13:54:
We gaan een NetApp aanschaffen, het idee was om de huidige situatie over te nemen, dus FC.

Dan kan je toch beter een NFS license bij je NetApp nemen (als die er niet al standaard bij zit). Ben je meteen klaar! Je mount dan de NFS mount rw op je eerste server en read only op de andere drie. Wanneer je NFS gebruikt, heb je ook geen filesystem nodig, want daar zorgt je NetApp voor.

[Gomez12]

Houd er wel rekening mee dat veel read-acties op live-data wel eens iets anders kan werken...

Waar je eerst constant dezelfde ("verouderde") data had, kan je nu opeens tegen locks / veranderende data aan gaan lopen.
Niets is zo leuk als een rapport wat eerst binnen 2 sec op het scherm stond en wat nu opeens een half-uur duurt omdat server 1 exclusive locks op de bestanden zet

[jep]

Ik zou kijken naar een goede NFS head voor je SAN. In ons geval komt Equallogic daar gelukkig in augustus mee.

We hebben lange tijd OCFS2 gebruikt en er veel ervaring mee. Ik kan je zeggen dat je er beter niet mee kunt beginnen.

- Als één node stuk is trekt 'ie de andere vaak mee
- Het kan zeer slecht tegen kleine files
- Het schaalt niet lekker bij veel nodes

[erwinb]

als je een e-mail zend wil ik wel wat netapp TR's (Technical Reports) sturen over NetApp/NFS/Oracle.

Pas een leukr ref. case gehoord over NetApp en Oracle waarbij men voor een bank 40.000.000 transacties per uur kon afhandelen.