[2K3] Clustering fileservers?

[Berimbau]

Ik wil uitzoeken of clustering van fileservers iets is voor onze organisatie.
We hebben meerdere "grote" fileservers die de data bevat van +- 1000 mensen elk.
Soms crashed een server wel eens omdat het pages/nonpaged geheugen dreigt over te lopen.

Nu zijn er twee manieren van clustering. "NLB", waarbij de netwerkload en dus fileconnecties verdeeld worden over meerdere servers (zou je misschien active/active kunnen noemen?)
Verder is er de "server clustering", als ik daar over lees lijkt dat Active/Passive te zijn.

Mijn vraag... klopt dit? Clustering is nl nieuw voor mij.

Het idee is om de load te verdelen tussen meerdere servers ipv op 1 active node.

Is hier iemand op tweakers met echte clusteringervaring die mij kan adviseren?

[SpamLame]

Al eens naar DFS gekeken? http://www.microsoft.com/.../storage/dfs/default.mspx

[Verwijderd]

Zou je niet beter het feit dat je uit je paged/non paged pool loopt gaan troubleshooten ipv een workaround als clustering of DFS? Dat wijst nl meestal op een memory leak of iets dergelijks.

[elevator]

Inderdaad - een lapmiddel als clustering voor een crashende fileserver klinkt ook wel een beetje eng Aan de andere kant, Microsoft zelf zegt dat er soms geen fatsoenlijke oplossing voor handen is (http://blogs.technet.com/...st-files-don-t-do-it.aspx) dus tja soms is lapmiddel het enige wat je kan doen.

Persoonlijk zou ik overigens eerder voor het 'upgraden naar 64 bit' lapmiddel gaan dan naar het 'we zetten twee servers neer om te crashen ipv 1'

[Rolfie]

Nu zijn er twee manieren van clustering. "NLB", waarbij de netwerkload en dus fileconnecties verdeeld worden over meerdere servers (zou je misschien active/active kunnen noemen?)

Met NLB kan je niet echt een File server load balancen. Immers je data moet dan op 2 server te gelijkertijd aanwezig zijn. Dit kan je wel eventueel gebruiken voor webservers, maar niet voor file cluster.

Verder is er de "server clustering", als ik daar over lees lijkt dat Active/Passive te zijn.

Je kan ook gewoon een active/active omgeving neer zetten. Dit zou een mogelijkheid zijn om server hoog beschikbaar te maken. Je zou op een 2-4 node cluster, meerdere virtuele file servers aanbieden. Mocht er dan een fysieke machine onderuit gaan, dan hoeven alleen maar de resources overgezet te worden. Dit gaat aanzienlijk sneller dan een server een schop geven. Hardware onderhoud wordt dan ook in eens een stuk gemakkelijker.
Maar je memory/PTE leak blijf je behouden.

[elevator]

Hoe zou dat precies werken een active/active omgeving op fileservers? Of bedoel je dat elke node z'n eigen fileshare resources krijgt en dat je die niet actief deelt over de nodes?

De laatste keer dat ik met clusters werkte is al een tijdje geleden en toen kon je iig nog niet dezelfde fysieke disk over twee actieve nodes sharen.

[ Voor 6% gewijzigd door elevator op 12-02-2008 10:12 ]

[Kokkers]

Rolfie schreef op dinsdag 12 februari 2008 @ 10:07:
...
Je kan ook gewoon een active/active omgeving neer zetten.
...

Het neerzetten van een active/active fileserver doe je niet even 'gewoon'.
Geloof me hier, komt meer bij kijken dan je denkt.

Je hebt tussen je nodes realtime master-master replicatie nodig van files die read en write locks hebben, split-brain situaties moet je de baas kunnen en hier ook nog performance/stabiliteit op kunnen garanderen en dit voor duizend+ users.

Ik zeg, doe maar even niet tenzij je echt 100% zeker weet dat je dit dit pad bewandelen wil.

[Rolfie]

Het neerzetten van een active/active fileserver doe je niet even 'gewoon'.
Geloof me hier, komt meer bij kijken dan je denkt.

met een active/active cluster wordt bedoeld dat beide fysieke machines resources bevatten. Deze resources kunnen standaard inderdaad maar op 1 node actief zijn.
Met extra software zou je de resources op meerdere nodes actief kunnen maken, maar dat is inderdaad net even 123 gedaan.

[Kokkers]

Rolfie schreef op dinsdag 12 februari 2008 @ 13:52:
[...]

met een active/active cluster wordt bedoeld dat beide fysieke machines resources bevatten. Deze resources kunnen standaard inderdaad maar op 1 node actief zijn.

(Post na de DiMiBo)

Als we toch aan het mierenneuken zijn ...Met active/active wordt mijnsinziens bedoeld dat beide nodes read/write actief zijn. Lees je eigen zin eens terug, wat denk je anders dat active/active impliceert. Anders had het wel active/passive geheten. Tuurlijk bevatten beide machines resources, dat is de bedoeling van een multi-node setup, ongeacht of dit active/passive of active/active is.

[elevator]

Niet helemaal - een Exchange server zal bv. standaard Active/Passive ingericht zijn en dat betekent toch echt wel dat node 1 'online' draait, en node 2 niets doet (voor Exchange) - het is dus best een beetje een onduidelijk begrip imho

[Question Mark]

Bij mijn weten is bij een Active/Active setup de applicatie toch in twee resourcegroups/instances verdeeld? Elke clusternode is in dat geval owner van één resourcegroup of instance. Tijdens een failover draaien beide resourcegroups of instances op één node. (even een 2-node cluster als voorbeeld)

Voor een filecluster betekend dat simpelweg dat:

• Node A een resourcegroup met de shares A t/m K heeft en Node B een resourcegroup met de shares L t/m Z heeft.

Voor SQL geld hetzelfde principe. Uit: http://www.microsoft.com/...ash/tips/tips_040407.mspx

In SQL Server, Active/Active clustering simply means having two separate instances running in the cluster—one (or more) per machine. So, Active/Active clustering refers to a two-node cluster, with each node running SQL Server instances but each with a different set of databases.

Oftwel, ook je SQL database(s) worden opgedeeld en verdeeld over verschillende resourcegroups/instances, die op hun beurt weer verdeeld worden over de clusternodes.

Kokkers schreef op dinsdag 12 februari 2008 @ 19:16:
Met active/active wordt mijnsinziens bedoeld dat beide nodes read/write actief zijn.

Wel beide Read/Write, maar niet op dezelfde data. Uit dezelfde bovenstaande link:

Note that only one server at a time can open a SQL Server database. If you want to implement a system in which you can update data in two places at once, you need to read about SQL Server's various data-replication options in BOL or by searching on the keyword replication on the SQL Server Magazine home page.

[/offtopic]

Maar ik zou de TS inderdaad aanraden om gewoon de memory problemen op te lossen. Clustering is een redelijk prijzige oplossing.

[ Voor 26% gewijzigd door Question Mark op 12-02-2008 19:51 ]

[Kokkers]

Wellicht dat Microsoft een eigen draai geeft aan active-active in het geval van databases maar de situatie die jij beschrijft is mijnsinziens geen active-active maargoed, misschien ben ik eigenwijs. Dat is een vorm van cross active-passive, beide nodes draaien een andere dataset en kunnen deze taken kruislings uitwisselen in het kader van 'high availability'. Active-active slaat toch op het volledig/aktief werken van N-nodes op dezelfde dataset voor dezelfde service, waar gaat het ander nog over?

Als je 2 nodes hebt die allebei met andere datasets/databases werkt spreek je dan nog wel van een cluster? Mensen die er mee werken lijken de terminologie niet eenduidig te krijgen. Het begrip active-active en master-master wordt ook wel door elkaar gebruikt.

Voor geinteresseerden:

Asymmetric active/active requires two or more active components that offer the same capabilities at tandem without coordination, while optional standby components may replace failing active components (n+1 and n+m). Asymmetric active/active provides high availability with improved throughput performance. While it is heavily used in the telecommunication sector for stateless components, it has limited use cases due to the missing coordination between active components.

Symmetric active/active requires two or more active components that offer the same capabilities and
maintain a common global component state using virtual synchrony [18] or distributed control [19], i.e., using a state change commit protocol. There is no interruption of service and no loss of state, since active services run in virtual synchrony without the need to failover. Symmetric active/active is superior in many areas, but is significantly more complex due to need for advanced commit protocols.
(bron)

Lees eens de basics zoals die bekend zijn van clustered filesystems, high availability voor RedHat Global filesyste, Lustre en high availability Samba

MySQL clustering met clustered filesystem

Goed, inmiddels een aardig eind off-topic.

[Question Mark]

Kokkers schreef op dinsdag 12 februari 2008 @ 20:51:
Wellicht dat Microsoft een eigen draai geeft aan active-active in het geval van databases <knip>

Zou heel goed kunnen. Ik werk enkel met MS Clusters en ken Active/Active enkel volgens de MS terminologie. Kennelijk zijn er toch producten die een betere/echtere vorm van Active/Active ondersteunen, getuige je links

[Verwijderd]

elevator schreef op dinsdag 12 februari 2008 @ 10:11:
Hoe zou dat precies werken een active/active omgeving op fileservers? Of bedoel je dat elke node z'n eigen fileshare resources krijgt en dat je die niet actief deelt over de nodes?

De laatste keer dat ik met clusters werkte is al een tijdje geleden en toen kon je iig nog niet dezelfde fysieke disk over twee actieve nodes sharen.

meerdere pysieke disks kan wel. op zich zie ik daar wel wat in. 2 disken delen over 2 servers. 1 disk actief op de ene en 1 disk actief op de andere en vervolgens voor de gebruikers een dfs maken zodat het lijkt alsof ze nog maar 1 disk benaderen. Maar ik heb dit nog nooit gedaan. wel leuk om eens te proberen

[Verwijderd]

Question Mark schreef op dinsdag 12 februari 2008 @ 21:44:
[...]
Zou heel goed kunnen. Ik werk enkel met MS Clusters en ken Active/Active enkel volgens de MS terminologie. Kennelijk zijn er toch producten die een betere/echtere vorm van Active/Active ondersteunen, getuige je links

ms noemt dat mirroring (tenminste in sql en exchange), maar dat is applicatie niveau. Niet op resource niveau.

[alt-92]

Overigens heeft MS zelf ook de terminologie maar weer omgegooid om duidelijker te zijn met wat voor clustering ze qua Fileservers kunnen werken.
Nu (2008 Server) wordt het ook explicieter Failover genoemd.

http://blogs.msdn.com/clustering/

[Verwijderd]

Ik zou zoals al vaker wordt aangegeven eerst eens even kijken naar je memory leak. Ten tweede vind ik 1000 actieve gebruikers nog niet echt een reden om te gaan load balancen/clusteren. Wij hebben een behoorlijk aantal clusters staan die per cluster ruim 2500 gebruikers servicen. Af en toe heeft 1 van de nodes een probleem en dat staat er bijvoorbeeld nog maar 1 node aan en die trekt het behoorlijk makkelijk. Op dit moment zijn we 1 nieuw cluster aan het bestellen omdat 1 van de nodes zijn processor kapot is (1 van de 2) en de processor kost 3200 euro !! Dus, dan kan je beter een nieuw cluster setje bestellen, en tevens valt de server binnenkort buiten zijn garantie.

Maar om terug te komen op het hele verhaal. Een beetje leuke HP/Dell server die je nu koopt kan mits je netwerk goed is geconfigged makkelijk 1000 gebruikers aan. Dus, als je wilt experimenteren met clusters, en je krijgt er een budget voor is het leuk, maar absoluut niet nodig mijns inziens. Wil je redundancy op je data, en je wilt je huidige hardware houden, kijk dan eens naar Doubletake. Dat synced je data realtime naar de target node, en kan prima failovers doen, of het nou sql of exchange, of gebruikersdata is.