Clusteren van twee identieke servers met RAID systeem

[Verwijderd]

Ik heb geen enkele ervaring met clusters opzetten, maar wil me er nu wel aan gaan wagen. Het punt is dat ik in bijna alle info die ik tegenkom over clusters er wordt gesproken over centrale data-opslag. In mijn geval is dat dus niet zo.
Hieronder de algehele situatieschets

De hardware:
Ik heb twee identieke servers (Dual Xeon) met ingebouwde RAID (16 * 400GB SATA)
Op het moederboord 2 * 1 GB NIC

De Software:
Ik ben van plan Gentoo Linux op deze apparaten te installeren. Gewoon omdat ik dat tot nu toe de lekkerste distro vind.

De wensen:
1. De twee systemen moeten zich voordoen als één machine. (een cluster dus )
2. De data op de twee RAID systemen moet (live) gemirrord worden.
3. Als 1 uitvalt, moet er met de ander gewoon door gedraaid kunnen worden.
4. Load balancing lijkt me ook fijn. Het cluster zal zware perlscripts gaan draaien en via Samba en NFS data delen.

Ik begrijp dat het een probleem is, dat als 1 systeem uitvalt, de data niet meer gemirrord kan worden, maar misschien dat er wel software (of hardware) voor handen is dat op een slimme manier achteraf kan synchroniseren.

[LauPro]

Er is een systeem genaamd openMosix. Hiermee kan je clusteren. Echter is dit niet optimaal. Er zijn grofweg twee vormen van clusteren: clusteren op OS-niveau en op applicatieniveau. openMosix werkt bijna op OS-niveau, je kan er dus een proces over twee servers verdelen. Echter geeft het veel overhead als je een proces van server 1 naar server 2 doen (bij een gameserver heb je gedurende X-aantal seconden een forse lagg bijvoorbeeld).

In jou geval zal ik proberen applicaties te clusteren. En eventueel met LVM dan de volumes onderling kopiëren. Echter dit is afhankelijk van de applicatie. Waar zijn de servers voor bedoeld? Een high IO newsserver, databaservers of een backupserver oid?

[Verwijderd]

De servers zijn hoofdzakelijk bedoeld voor opslag. Puur data dus. Er zullen per dag honderden Gigabytes van en naar worden gekopieerd. De perlscripts doen selecties op en extracties uit die data.

Misschien een stomme vraag, maar zou ik perl dan op dat cluster kunnen compileren zodat ie gebruik maakt van alle vier de CPUs in dat cluster?
(dus niet de perl-scripts, maar puur de perl-executable zelf)

[Verwijderd]

Laat de helft van de PERL scripts gewoon op de ene machine draaien en de andere helft op de ander. Inclusief failsafe kan dat prima met openMosix.

EDIT: Je moet natuurlijk wel met LVM ofzow de drives mirroren, dat doet oM niet.

[ Voor 23% gewijzigd door Verwijderd op 30-05-2005 23:16 . Reden: Drive mirroring info toegevoegd ]

[Verwijderd]

LauPro schreef op maandag 30 mei 2005 @ 22:28:
je kan er dus een proces over twee servers verdelen.

Helaas is dat niet waar. Alleen meerdere processen. Threads wil ook wel werken met de MIGSHM (MIGrate SHared Memory) patch maar dat is nogal inefficient en bovendien is het nog in Alpha stage (tenminste dat is het laatste dat ik erover gelzen heb)...

[djluc]

Ik mis een stapje: hoe spreek je de servers aan? Vaak wordt hiervoor een hardwarematige load-balancer gebruikt. Hoe weet men anders welke server aangesproken moet worden?

[Verwijderd]

In dit geval doet oM dat; bij een ``gemiddelde'' Beowulf cluster zul je het zelf moeten doen (SSH machine 1 -> app 1 | SSH machine 2 -> app 2 etc.).

[Verwijderd]

djluc schreef op maandag 30 mei 2005 @ 23:20:
Ik mis een stapje: hoe spreek je de servers aan? Vaak wordt hiervoor een hardwarematige load-balancer gebruikt. Hoe weet men anders welke server aangesproken moet worden?

Nou, dat vroeg ik me ook af!
Hoe spreek ik dat ding aan?
Perl scripts starten door te ssh-en naar de ene server en naar de ander, dat gaat me wel lukken...
Maar hoe laat ik 'm bijvoorbeeld als 1 netwerknode op m'n windows-netwerk zien als ik met Samba het een en ander deel?
Ik heb werkelijk geen idee!

Ik heb wel over HW Load balancers gelezen. Ik vraag me af of de keuze voor zo'n apparaat nog van belang is (t.o.v. mijn gebruikte hardware).
En wat ik las van die hw load balancers is dat ze niet erg 'snugger' zijn. Zo'n load balancer is bijvoorbeeld niet op de hoogte van de status van 1 van de nodes (up of down).

[ Voor 23% gewijzigd door Verwijderd op 30-05-2005 23:48 ]

[Wirehead]

Ik heb onlangs voor een project een openmosix cluster gebouwd. Echter, voor hetgeen jij wilt lukt dit niet.

De programma's die je noemt zijn multithreaded, en het enige wat een beowulf goed kan, is rekenen, en dan heb je het zowat gehad.

Je beste optie is load-balancing. Voor Samba / Apache, ... ideaal.

Kijk eens rond op www.linuxvirtualserver.org

Staat een mooi voorbeeld in voor een apache server e.d.

Verder zorg je ervoor dat je schijven in systeem 1 & 2 identiek zijn.

[ Voor 2% gewijzigd door Wirehead op 30-05-2005 23:57 . Reden: typvouten ]

[Verwijderd]

Ok, thanx.

Hardware is helemaal identiek. Moederboard, RAID controllers, Disks, alles...
Tevens ook al schijven 'voor de break' opgenomen in de offerte.

[Verwijderd]

Verwijderd schreef op maandag 30 mei 2005 @ 23:44:
[...]

Nou, dat vroeg ik me ook af!
Hoe spreek ik dat ding aan?
Perl scripts starten door te ssh-en naar de ene server en naar de ander, dat gaat me wel lukken...

Met oM kun je gewoon òf server 1 òf server 2 uitkiezen; migratie gebeurt automatisch.

Maar hoe laat ik 'm bijvoorbeeld als 1 netwerknode op m'n windows-netwerk zien als ik met Samba het een en ander deel?

Simpel: Gebruik er gewoon maar 1:P Laat de ander voor wat het is wat de externe wereld betreft. Als de hostname hetzelfde moet blijven gebruik je een router met IP Masquerading.

Ik heb wel over HW Load balancers gelezen. Ik vraag me af of de keuze voor zo'n apparaat nog van belang is (t.o.v. mijn gebruikte hardware).
En wat ik las van die hw load balancers is dat ze niet erg 'snugger' zijn. Zo'n load balancer is bijvoorbeeld niet op de hoogte van de status van 1 van de nodes (up of down).

Drie woorden: Doe het niet.

[Wirehead]

Verwijderd schreef op maandag 30 mei 2005 @ 23:59:

[...]


Drie woorden: Doe het niet.

Das dan net het voordeel van die Linux Virtual Server:
Die kent de status van de andere machines: Load,..
En je kan de machine laten kiezen op basis van queue-grootte van taken, volgens round robin, weighted round robin,..

[Verwijderd]

oM runt op OS-niveau, dus hij weet perfect uit zichzelf wat de status van beide systemen is

[djluc]

Maar hoe weet een client welke server hij moet benaderen? Je kan ze toch niet beide hetzelfde IP geven?

[Grolsch]

djluc schreef op dinsdag 31 mei 2005 @ 11:00:
Maar hoe weet een client welke server hij moet benaderen? Je kan ze toch niet beide hetzelfde IP geven?

als ze in een cluster zitten hebben ze een gemeenschappelijk ip adres.

Maar halen mensen hier clustering en load balancing niet door elkaar?

Een cluster heeft geen ruk te maken met performance maar met availibility

Is er bij een cluster niet altijd 1 active en die andere passive, en worden ze op de hoogte gehouden door een "hearthbeat"

Dit is tenminste MS clustering, er zullen vast en zeker wel andere oplossingen zijn.

[JackBol]

djluc schreef op dinsdag 31 mei 2005 @ 11:00:
Maar hoe weet een client welke server hij moet benaderen? Je kan ze toch niet beide hetzelfde IP geven?

virtual IP anyone?

[Verwijderd]

Grolsch schreef op dinsdag 31 mei 2005 @ 12:01:
[...]

als ze in een cluster zitten hebben ze een gemeenschappelijk ip adres.

Again, meestal niet.

Maar halen mensen hier clustering en load balancing niet door elkaar?

Load-balancing is een feature van clustering.

Een cluster heeft geen ruk te maken met performance maar met availibility

En waar baseer jij dat op?

Is er bij een cluster niet altijd 1 active en die andere passive, en worden ze op de hoogte gehouden door een "hearthbeat"

Dat is een zgh ``fail-over''' cluster. Wij praten over een loadbalancing cluster met fail-over capability.

Dit is tenminste MS clustering, er zullen vast en zeker wel andere oplossingen zijn.

Geen flame, maar MS schjint niets te weten van clustering...

[Verwijderd]

Is er bij een cluster niet altijd 1 active en die andere passive, en worden ze op de hoogte gehouden door een "hearthbeat"
Dit is tenminste MS clustering, er zullen vast en zeker wel andere oplossingen zijn.

MS ondersteund zowel Active/Passive als Active/Active clustering. Voor Fail over met 2 servers is Active/passive in het algemeen beter (A/A setups gaan vaak ten onder aan de hoge load als één van beide servers uitvalt ) maar wel een beetje kostbaar. A/A is met name interessant als er meer dan 2 servers geclusterd worden.

En tsja, wat moet je hier nu mee. De zeurkous doet in ieder geval zijn naam eer aan.

Geen flame, maar MS schjint niets te weten van clustering...

MS clustering schijnt bij de meeste bedrijven prima te functioneren en de adviezen die in de MS documentatie staan geven toch aan dat men daar weet waar men over praat. Maar goed, MS flamen is en blijft voor mensen een hobby.

[ Voor 10% gewijzigd door Verwijderd op 31-05-2005 13:44 ]

[Verwijderd]

Even iets rechtzetten: Dat was _geen_ flame. Wel heb ik wat tegen Microsoft, maar dat komt doordat ik niet erg van commercialiteit hou, dus dat is niet persoonlijk tegen MS

Er zijn zoveel documenten op internet (geschreven door UNIX-users ja, maar de principes zijn overal toepasbaar) die goed uitleggen wat de principes zijn, hoe het in elkaar zit, waar je rekening mee moet houden etc. Dat zie ik bij de point-and-click oplossingen van MS helaas niet terug....

[Guru Evi]

Kijk hier eens voor je data: http://www.drbd.org/
Voor de rest is het LVS project goed op de hoogte van al zulke dingen: http://www.linuxvirtualserver.org/ met verschillende opties, uitgewerkte voorbeelden en howto's.

<offtopic>MS heeft imho geen goede clustering mogelijkheden. Een goed clustering bestandssysteem voor Windows bestaat er niet (vb. voor same-storage systemen). Uit ervaring heb ik geleerd dat voor een Exchange omgeving met 1000 mailboxen zo'n 4 zware Xeon servers uitgevoerd moeten worden met een zware storage en dat het net genoeg is. Dezelfde configuratie op een Linux systeem kost slechts 1 single processor server. No flame intended maar...</offtopic>

[Rolfie]

Guru Evi schreef op dinsdag 31 mei 2005 @ 15:24:


<offtopic>MS heeft imho geen goede clustering mogelijkheden. Een goed clustering bestandssysteem voor Windows bestaat er niet (vb. voor same-storage systemen). Uit ervaring heb ik geleerd dat voor een Exchange omgeving met 1000 mailboxen zo'n 4 zware Xeon servers uitgevoerd moeten worden met een zware storage en dat het net genoeg is. Dezelfde configuratie op een Linux systeem kost slechts 1 single processor server. No flame intended maar...</offtopic>

Nu we toch offtopic bezig zijn.
Ik heb een aantal exchange configuraties waar zo'n 7500 man op een 4 tal Dl580G2 machines draaien. Zonder echt problemen. Servers zijn aangesloten op een SAN, en geen Problemen te noemen. Ik heb zelf nu een Exchange cluster onder mijn beheer wat bestaat uit een 2node Cluster, wat gewoon bestaat uit een Dl380G3 clustertje met Dual processor en 2GB. SAN bestaat uit een XP12000 storage van HP. Zitten 1000 mailboxen grote public folder omgeving. Totaal geen problemen met de omgeving.

[elevator]

Guru Evi schreef op dinsdag 31 mei 2005 @ 15:24:
Uit ervaring heb ik geleerd dat voor een Exchange omgeving met 1000 mailboxen zo'n 4 zware Xeon servers uitgevoerd moeten worden met een zware storage en dat het net genoeg is. Dezelfde configuratie op een Linux systeem kost slechts 1 single processor server. No flame intended maar...

Sinds wanneer bestaat Exchange voor Linux? Welke Exchange-achtige software heb je het bij deze dan over?

[Adze]

elevator schreef op dinsdag 31 mei 2005 @ 15:42:
Sinds wanneer bestaat Exchange voor Linux? Welke Exchange-achtige software heb je het bij deze dan over?

offtopic:

open-xchange http://mirror.open-xchange.org/

The OPEN-XCHANGE Collaboration and Integration Server Environment allows you to store appointments, contacts, tasks, mails, bookmarks, documents, and many more elements and share them with other users. OPEN-XCHANGE can be accessed via MS Outlook.

/offtopic:

[ Voor 32% gewijzigd door Adze op 03-06-2005 16:42 ]

[Brahiewahiewa]

Guru Evi schreef op dinsdag 31 mei 2005 @ 15:24:
... Uit ervaring heb ik geleerd dat voor een Exchange omgeving met 1000 mailboxen zo'n 4 zware Xeon servers uitgevoerd moeten worden met een zware storage en dat het net genoeg is...

Volgens mij zit je er een factor 10 naast. Zie http://www.microsoft.com/.../performance/default.mspx

[_Arthur]

Brahiewahiewa schreef op vrijdag 03 juni 2005 @ 16:51:
[...]

Volgens mij zit je er een factor 10 naast. Zie http://www.microsoft.com/.../performance/default.mspx

20x zelfs. Aangezien hij het over 4 x een server heeft. Dus 4 nodes. Met 4 nodes en 2 cpu's/node kom je op dik 20.000 mailboxen uit.

En degene die niet verder komen dan "point and click" in windows moeten er vooral vanaf blijven, zeker in grote omgevingen.

[Verwijderd]

Verwijderd schreef op maandag 30 mei 2005 @ 22:22:
Ik heb twee identieke servers (Dual Xeon) met ingebouwde RAID (16 * 400GB SATA)

Offtopic maar waarvoor heb je zoal 16 * 400GB nodig ?

Nee dit is geen flame of whatever, ik stel me echt de vraag in welke omstandigheden je zulke capaciteiten kan nodig hebben.

[djluc]

Verwijderd schreef op zaterdag 04 juni 2005 @ 16:10:
[...]
Offtopic maar waarvoor heb je zoal 16 * 400GB nodig ?

Nee dit is geen flame of whatever, ik stel me echt de vraag in welke omstandigheden je zulke capaciteiten kan nodig hebben.

Sowieso zit er enige redunantie in omdat het een RAID systeem is. Het zal vast geen RAID 0 zijn.

[JackBol]

Verwijderd schreef op zaterdag 04 juni 2005 @ 16:10:
[...]


Offtopic maar waarvoor heb je zoal 16 * 400GB nodig ?

Nee dit is geen flame of whatever, ik stel me echt de vraag in welke omstandigheden je zulke capaciteiten kan nodig hebben.

online backup of managed storage? een bedrijf dat professioneel films en video rendert en bewerkt?
kan zo wel e.e.a. bedenken.

[Mishmash]

Dirk-Jan schreef op zaterdag 04 juni 2005 @ 18:19:
[...]


online backup of managed storage? een bedrijf dat professioneel films en video rendert en bewerkt?
kan zo wel e.e.a. bedenken.

Thuisgebruik voor download server

[Maarten @klet.st]

djluc schreef op zaterdag 04 juni 2005 @ 16:13:
[...]
Sowieso zit er enige redunantie in omdat het een RAID systeem is. Het zal vast geen RAID 0 zijn.

Als je ooit met (SCSI) RAID en 16 disks in RAID5 gewerkt heb zou je niet zo stellig zijn. RAID5 en 16x 400GB zal iig @#$@#%@% presteren, is mijn ervaring. Ik ben daarom ook erg benieuwd naar de config van de TS, zijn ervaringen en evt. waarom hij het draait.

Maar om weer ontopic te gaan: Sistina Redhat GFS. Het is al een tijd geleden dat ik er mee gespeeld heb, maar zo uit mijn hoofd moet Sistina qua filesysteem alles kunnen doen wat je wilt. balancen van processen niet, maar daar is LVS misschien geschikt voor.
Ik heb GFS destijds getest om (meerdere) SAN kisten aan elkaar te stripen en met >1 servers simultaan aan te spreken (ja, active/active in MS terminologie). Dat werkte op zich redelijk goed ( en snel ), volgens mij moet je ook kunnen mirroren tussen twee servers, maar kijk zelf even rond op http://www.redhat.com/software/rha/gfs/ zou ik zeggen..