[Clusters] - SQL & Exchange "high-end"

[MAX3400]

Voor het ontwerp van een nieuw back-end, wil ik eventjes de opinie (en misschien een verandering) van de experts in PN&S weten. Volgens mijn beste weten is het voor 99% af maar misschien dat ik, bij een klein gebrek aan SQL-kennis, iets over het hoofd heb gezien.

Huidige functionaliteit:
4 kleine cluster-nodes (single Xeon, 2GB RAM) bieden op dit moment in 2 clusters met Active-Passive de toegang tot 3 SQL-databases die in totaal 30GB zijn. De grootste draait op dit moment op Cluster1 en de twee kleinere databases draaien op Cluster2. De gemiddelde load op de CPU is tijdens kantoortijden rond de 70% en het geheugen schommelt rond de 1.3GB in gebruik. In totaal zijn er ongeveer 200 medewerkers met enige regelmaat verbonden met de SQL-machines.

Toekomstige functionaliteit:
Het cluster zal zometeen 7 SQL-databases gaan draaien en ook Exchange gaan hosten. De totale grootte van de databases zal groeien naar ongeveer 70GB. Exchange wordt van scratch af ingericht maar het voorlopige idee is om alle medewerkers 250MB mailboxen te verstrekken waarbij de totale maximale grootte van de stores op 200GB zal komen. Het aantal SQL-connecties zal waarschijnlijk verdubbelen naar 450 concurrent connections en voor Exchange verwachten we een gelijktijdige aanspraak van 90 tot 95%.

Eisen voor availability:
Redelijk hoog; op werkdagen zullen de servers 18 uur per dag beschikbaar moeten zijn voor de medewerkers. Dit houdt in dat er geen backup, maintenance of ander backend-beheer mag plaatsvinden en de machines dus volledig de functionaliteit moeten aanbieden aan de medewerkers. Er zal dus een window zijn van ongeveer 6 uur voor backup en geplande werkzaamheden (en in overleg 24 uur gedurende de weekends).

Technische specificaties:
Alle machines zullen worden voorzien van een Enterprise-versie van het OS of de application-software; dit houdt in dat failovers, access during errors en dergelijke vrij goed zijn afgedekt. Verder zullen alle machines middels glas naar een SAN connecten, dus "lokaal" zou een redelijke RAID1-set voldoen voor het OS en SQL/Exchange.

Momenteel denk ik wederom aan een ontwerp van Active-Passive clustering waarbij de volgende inrichting het beste lijkt:

SQL - 2 Active Nodes, 1 Passive node voor failover van 1 SQL-machine.
Exchange - 2 Active Nodes met failover naar SQL-Passive.

De nodes wil ik voorlopig voorzien van 2 Dual Core Xeon's (zoals de 5160) en 8GB RAM. Voor de schijven voorlopig 2x 72GB 15K SCSI320 in RAID1. Op basis van deze specificaties zijn de nodes in ieder geval nog erg schaalbaar in geheugen-capaciteit want veel 2U-servers kunnen 16GB RAM bevatten. Alle servers zullen via teaming op 2Gbps praten met het front-end.


Mijn twijfels:

• Zijn de servers enigszins berekend op hun SQL-taken?
• Zijn de Active Exchange-machines te zwak uitgevoerd als de stores eenmaal 200GB bereiken?

Ik weet het; de eerste opmerking die men zal plaatsen is: doe eens een flinke baseline-performance maar dat is zo goed als onmogelijk omdat de 4 nieuwe SQL-databases nu nog helemaal niet bestaan en ook Exchange bestaat nog niet in de huidige omgeving. Nou weet ik wel dat Exchange "ongeveer"
5-7% zoveel RAM gebruikt als de stores groot zijn, dus bij de maximale 200GB zou het dus op 10-14GB RAM komen.

Anyone?

[Question Mark]

Als ik het dus goed lees, ga je dus naar een 5 node cluster:

• 2x Exchange active
• 2x SQL active
• 1x SQL/Exchange passive

MAX3400 schreef op zaterdag 19 augustus 2006 @ 00:04:
SQL - 2 Active Nodes, 1 Passive node voor failover van 1 SQL-machine.
Exchange - 2 Active Nodes met failover naar SQL-Passive.

Kijk even goed naar je Exchange design. Microsoft is "slecht" in het supporten van Active/Active mbt. Exchange. In de volgende versie van Exchange is Active/Active volgens mij niet eens meer mogelijk.

Considerations when deploying Exchange on an Active/Active cluster

Microsoft does not recommend the deployment of Exchange 2000 servers or Exchange 2003 servers in an Active/Active clustered environment. Additionally, Exchange 2000 and Exchange 2003 are supported as Active/Active in two-node clusters only. Clusters that have more than two nodes must be Active/Passive. For more information about this subject, click the following article number to view the article in the Microsoft Knowledge Base:

Exchange Virtual Server Limitations on Exchange 2000 Clusters and Exchange 2003 Clusters That Have More than Two Nodes

Microsoft Exchange 2000 Server and Microsoft Exchange Server 2003 enforce Active/Passive scenarios on Exchange clusters that have more than two nodes. This means that on a four-node Exchange 2000 cluster or a four-node Exchange 2003 cluster, only three Exchange virtual servers can be created, and only one Exchange virtual server can be hosted per node.

In jouw situatie mag een "Exchange node" dus maar één virtuele mailserver hosten. Nu is je failover zo ingericht dat deze naar een passive node gaat, dus technisch zou dit geen probleem zijn. (je gaat immers naar een Active/Active/Passive). Punt is even dat MS er kennelijk niet zo happig op is...

Verder ben ik eigenlijk wel benieuwd naar je (voorlopig) detail design:

disk-design
Raid-levels, lokatie logfiles/databases, controllers redundandt, etc.
Inrichting Exchange
Denk hierbij aan aantal databases (ESE transaction logfiles worden op database niveau gemaakt), storage groups, public folders en replicatie.
cluster
Standard quorum vs. Majority Node Set Quorums


Leuk project!

[ Voor 18% gewijzigd door Question Mark op 19-08-2006 11:40 ]

[MAX3400]

Goed punt over die Exchange-nodes; dat is inderdaad een issue waar ik niet zo happig op ben. Dat het misschien draait, tot daaraan toe, maar als enige support van Microsoft hiermee de grond in wordt geboord, dan moet dat maar eens heel snel op de vergadertafel worden gegooid. Dus eigenlijk moet de Active Exchange-node gewoon dubbel zo zwaar worden uitgevoerd als ik tot op heden heb onderkend.

Op het SAN komen er naar alle waarschijnlijkheid 2 stripe-sets; eentje van 200GB (voor de SQL-machines) en eentje van 500GB (voor Exchange). De onderverdeling in logische schijven moet nog even worden nagekeken; maar deel voorlopig de waarden even door het midden en dan heb je de logical drives/resources die gaan dienen voor de live-data en de logs/kopieen (zoals een volledige database backup). In de huidige omgeving worden log-files eigenlijk altijd zeer snel opgeschoond en alleen op verzoek worden ze ergens anders naartoe verplaatst. Ik verwacht dat SQL niet meer dan 1 dag werk aan log-files bij zal houden bij normaal gebruik.

Exchange wordt nog een leuk verhaal; eigenlijk wil ik zo snel mogelijk een store kunnen terugzetten maar gezien de "limitaties" die Microsoft oplegt zal het dus gaan om 4 storage groups die 1 database per stuk hebben en ook allemaal 1 public folder. Het hoe en wat precies moet ik nog even met een collega bespreken; die is helemaal lyrisch van Exchange en kan misschien nog een paar tips geven.

[bommel]

Een aandachtpunt is misschien nog AV op Exchange met Active, Active, Passive cluster. Volgens mij ondersteunen niet alle Exchange AV pakketen het.

[Question Mark]

MAX3400 schreef op zaterdag 19 augustus 2006 @ 17:30:
Goed punt over die Exchange-nodes; dat is inderdaad een issue waar ik niet zo happig op ben. Dat het misschien draait, tot daaraan toe, maar als enige support van Microsoft hiermee de grond in wordt geboord, dan moet dat maar eens heel snel op de vergadertafel worden gegooid.

Als ik de door mij aangehaalde KB-artikelen goed doorlees, supporten ze het wel. Het wordt alleen nergens keihard geroepen. MS haalt alleen Active/Active of Active/Passive aan. Active/Active/Passive zoals jij gaat draaien, kan ik nergen terugvinden in de MS-site (behalve de eerdere quote's).

MAX3400 schreef op zaterdag 19 augustus 2006 @ 17:30:
Op het SAN komen er naar alle waarschijnlijkheid 2 stripe-sets; eentje van 200GB (voor de SQL-machines) en eentje van 500GB (voor Exchange).

Je wilt dus (voor Exchange) 1 Raid set gaan bouwen, en die vervolgens onderverdelen in een logische drive voor de databases, en een logische drive voor de transaction logs?

Slecht idee: als die Raid onderuit gaat, is je actuele database weg, alsmede je logfiles. Het enige wat je dan nog kunt doen is je 'oude' database restoren. Aangezien je niet meer in het bezit bent van de Logfiles kun je deze niet meer replayen om de DB up-to-date te brengen. Je bent dus mail kwijt.

Het beste kun je de Database en logfiles op verschillende Raid's plaatsen:

• Raid 5/6 voor de databases (afhankelijk van hoeveel risico je wilt lopen mbt rebuildtimes igv een diskfailure.
• Raid 1 voor de transaction logs

Kijk anders even naar dit Topic, deze gaat over een optimale diskconfig voor Exchange. Ik ben verder geen kenner van SQL, maar deze zal ook logfiles bij houden, voor SQL zal waarschijnlijk hetzelfde gelden.

Welke limitaties doel je eigenlijk op mbt. Exchange?

bommel schreef op zaterdag 19 augustus 2006 @ 19:25:
Een aandachtpunt is misschien nog AV op Exchange met Active, Active, Passive cluster. Volgens mij ondersteunen niet alle Exchange AV pakketen het.

Je zult inderdaad een AV pakket hebben met ondersteuning voor MSCS. Bijna alle antivirus paketten zijn wel draaiend te krijgen op een cluster (desnoods al "generic service"), probleem is echter het updaten van virusdefinities op de passive node. Daar draait de service immers niet...

[ Voor 11% gewijzigd door Question Mark op 20-08-2006 11:28 ]