CephFS high available

[Mr_Big]

Sinds enige tijd ben ik aan het experimenteren met ceph. Vind het tot dusver erg interessant en indrukwekkend.
Voorkeur zou uitgaan naar aanbieden van storage via cephfs. Daar loop ik echter wel tegen een probleem aan: hoe krijg ik een monitor high available? Anders gezegd: hoe zorg ik dat een op een client het via fuse gemountete file systeem beschikbaar blijft als de monitor in het mountcommando uitvalt?

Ik dacht dat met 3 x monitor en keepalived met virtual IP voor elkaar te krijgen, maar een monitor luitstert standaard op slechts één IP. Je kunt een monitor aan de virtuele ip laten binden d.m.v. "public bind addr = 1.2.3.4", maar dan kan de fuse client die monitorn niet meer gebruiken op cephfs succesvol te mounten.

Iemand een idee hoe je dit voor elkaar kunt krijgen?
Mag via keepalived met VIP, mag ook op een andere manier.

[xleeuwx]

ik zou even op webhostingtalk.nl rondstreunen, hier is al heel veel nuttige dingen over Ceph gezegd en hier zitten een paar jongens op die precies weten hoe het werkt.

Bijvoorbeeld:
https://www.webhostingtal....html?192933=#post1315522

[Mr_Big]

Was mij niet bekend. Ga ik daar ook eens rondkijken.
Ga natuurlijk als eerste naar GoT :-)

[Mr_Big]

Heb het daar niet zo snel kunnen vinden, maar was eigenlijk heel makkelijk: je moet 'none' specificeren in plaats van een hostnaam of ip-adres van een monitor.
Als je dan zorgt dat alle monitors netjes beschikbaar zijn en in je ceph.conf staan, dan gaat het automagisch goed.

[Kees]

Of je mount het gewoon met alle ip's van de monitors. Ik reboot regelmatig al mijn monitors (na elke upgrade) en heb daar nog nooit problemen mee gehad.

Overigens is dat niet wat cephfs HA maakt, dat is de MDS. Daar wil je er ook 2 of 3 van hebben. Let daarbij ook op met het cache gedeelte. Dat staat by default op 100k entries, zodra je meer inodes dan 100k gebruikt wil je dat omhoog zetten.

Owh, en mount cephfs met de optie 'dirstats', dan kun je stats van een directory zien door 'cat $directory' te doen, erg handig, scheelt een recursive du.

Anyway, ik mount het alla `mount -t cephfs mon1,mon2,mon3:/ -o dirstat,noatime,name=$user,secret=$secret`

[ Voor 8% gewijzigd door Kees op 24-04-2018 09:31 ]

[Mr_Big]

Goede aanvulling v.w.b. de cache. Denk dat je daar snel aan zit met cephfs of rbd in gebruik.

Meerdere MDSen staat hier ook in de planning. Maar het HA-gedeelte werkt iets anders dan ik gewend ben: er is blijkbaar een ingebouwde fail over als je er maar meer specificeert.
Ik ben 'de moeilijke weg' gewend, oftewel: alles zelf regelen.

[Gotiniens]

Als je RBD gebruikt heb je niks aan je MDS, Die cache van @kees gaat volgens mij over de MDS servers. Anders moet ik ook snel mijn config eens nakijken.

[Bastiaan V]

Ik gok dat kees het inderdaad over de cache van de MDS heeft. Nu is het natuurlijk prima mogelijk om deze op dezelfde host als je monitors te draaien. Zekel nu i.t.t. jewel de zwaardere onderdelen van de monitoren naar de manager(s) zijn verplaatst. MDS'en kan je pas inds kort (Luminous) als active-active opzetten. In de eerdere releases kon dit enkel in active/passive, waarbij mijn ervaring is dat de failover niet altijd zonder problemen verliep.

Wanneer je RBD's direct mount word er by default een (write through) cache gebruikt op de client machine (waar je de mount maakt).

Daarnaast zijn er nog de nodige cache opties op de OSD's (mits je gebruik maakt van bluestore).