MogileFS - Cluster Filesystem, iemand ervaringen?

[killercow]

Beste mede nossers,

Ik kwam zojuist het volgende project tegen, (via een slideshow van de sysadmin van digg)

MogileFS - http://www.danga.com/mogilefs/

Dit FS lijkt een soort distributed FS te zijn welke in userspace draait en zo de bestanden redundant bewaart over een x aantal servers.

Het storen en fetchen van fiies gaat over webdav / http, maar het lijkt me dat elke node een eigen cache heeft van de meest gevraagde files uit performance oogpunt.

Heeft iemand hier al eens mee gespeeld?

[Aike]

Dat klinkt heel interessant. Alleen ik zie 1 probleem:

MogileFS is not POSIX Compliant -- you don't run regular Unix applications or databases against MogileFS. It's meant for archiving write-once files and doing only sequential reads. (though you can modify a file by way of overwriting it with a new version)

Het is dus meer een soort archive dan dat je er echt een centrale storage mee kunt verspreiden over meerdere machine.

[killercow]

Klopt, maar ze zijn bezig met een FUSE koppeling, waarmee je het dus gewoon zou kunnen mounten.
Het write-once probleem, tjah ieder antomic FS werkt zo, de oude file blijft bestaan, de nieuwe wordt ergens anders geschreven, en dan pas wordt de oude weggegooid.

[ Voor 46% gewijzigd door killercow op 15-03-2007 14:36 ]

[zeroxcool]

Een subtiele schop. Ik ben benieuwd of iets uit dit topic nog iets heeft opgeleverd?

[killercow]

Ik heb er mee gespeeld, maar heb het niet tot z'n uitersten gepusht omdat ik op het moment andere prioriteiten heb,

Wat wilde je precies weten?

[zeroxcool]

Hoe het bevalt. Is het snel op te zetten? 'Last' vanwege het feit dat Perl gebruikt wordt? Denk je dat als er ooit een POSIX-koppeling komt het interessant is om webserver clusters mee te draaien?

[killercow]

Ik had vooral ruzie met libEvent, een soort singlethread perl api welke er voor zorgt dat events toch soort van multihtreaded worden afgehandeld, omdat het allemaal vrij simpel in elkaar steekt ben ik lekker zelfs iets gan bouwen op basis van http

[Verwijderd]

Even een klein kickje.

Ik probeer zelf ook zo'n soort systeem op te zetten.

Het enige wat ik mij nog afvraag ik of de MySQL Database replicatie door Mogile of door SQL zelf verzorgd moeten worden. De tool "mogadm" heeft wel een optie "slave", waar helaas vrij weinig documentatie over bekend is.

Dus heeft iemand een idee?

[killercow]

Verwijderd schreef op vrijdag 11 april 2008 @ 18:47:
Even een klein kickje.

Ik probeer zelf ook zo'n soort systeem op te zetten.

Het enige wat ik mij nog afvraag ik of de MySQL Database replicatie door Mogile of door SQL zelf verzorgd moeten worden. De tool "mogadm" heeft wel een optie "slave", waar helaas vrij weinig documentatie over bekend is.

Dus heeft iemand een idee?

Ik heb mogileFS al een tijd niet aan de gang gehad, maar vziw moet je de mysql replicatie zelf opbouwen, Een master-master oplossing is prima te doen volgens mij, zoals je je writes maar naar 1 van de 2 masters schrijft.

[Aike]

Verwijderd schreef op vrijdag 11 april 2008 @ 18:47:
Even een klein kickje.

Ik probeer zelf ook zo'n soort systeem op te zetten.

Het enige wat ik mij nog afvraag ik of de MySQL Database replicatie door Mogile of door SQL zelf verzorgd moeten worden. De tool "mogadm" heeft wel een optie "slave", waar helaas vrij weinig documentatie over bekend is.

Dus heeft iemand een idee?

Misschien is dit wel interessant nieuws voor je dan; nieuws: Sun laat Mysql 'grote sprong voorwaarts' maken

[Verwijderd]

killercow schreef op zaterdag 12 april 2008 @ 21:40:
[...]

Ik heb mogileFS al een tijd niet aan de gang gehad, maar vziw moet je de mysql replicatie zelf opbouwen, Een master-master oplossing is prima te doen volgens mij, zoals je je writes maar naar 1 van de 2 masters schrijft.

Ja dat heb ik idd ook gelezen, de trackers moeten naar een enkele db wijzen. Maar mag ik dan de andere db toewijzen middels "mogadm slave"? Waar is anders deze optie voor?

Aike schreef op zondag 13 april 2008 @ 18:11:
[...]

Misschien is dit wel interessant nieuws voor je dan; nieuws: Sun laat Mysql 'grote sprong voorwaarts' maken

Dit lijkt inderdaad interessant. Bedankt voor de tip.