Beste raidlevel voor Exchange 5.5 /W2K

[A_De2]

Medetweakers,

Overmorgen ga ik een nieuwe Exchange doos de lucht in trappen. (herinstallatie). Nu werk ik standaard met 2 schijven in een mirror als boot/system disk en de overige schijven in een Raid 5 opstelling met 1 schijf als Hot Spare.

Nu vraag ik mij af of het wel zo ideaal is om de exchange directories op een Raid 5 te plaatsen. Als alternatief kun je denken aan een gemirrorde stripe set. Hier heb ik echter geen ervaring mee.

*Edit* Mijn bedoeling is dus snelheid EN veiligheid van mijn data *Edit*

Kunnen jullie op basis van dit verhaal en onderstaand overzicht van aanwezige hard- en software eens met mij meedenken?

Ik heb de volgende hardware:

Compaq Proliant ML530, G1
2x Xeon 933 MHz, 1MB cache
2GB geheugen
2x 18GB 15K rpm schijven
5x 36GB 15K rpm schijven
Smart Array 5302 controller

Hierop komt de volgende software:

W2K server SP4
Exchange 5.5 SP4
Sybari Antigen 7.0

Ik heb ongeveer 240 Mailclients waarvan gemiddeld 180 tegelijkertijd aan het werk.
De omvang van de Exchange store is 15GB.

Als ik wat ben vergeten, vraag aub

[ Voor 4% gewijzigd door A_De2 op 29-03-2004 20:33 ]

[elevator]

Ik dacht dat dit de meest aangeraadde config is:
- 2x18gb: raid1 -> boot
- 2x36gb: raid1 -> Exchange logfiles
- 3x36gb: raid5 -> data

[Femme]

De Smart Array 5302 is wat sneller in RAID 10 met 4 drives dan RAID 5 met 4 drives. Je zou dus RAID 10 + hotspare kunnen gaan draaien met de vijf 15K schijven als je performance erg belangrijk vind. Dit gaat je wel 36GB opslagcapaciteit kosten tov RAID 5.

Om een beeld te geven:

Tweakers.net server benchmarks gemiddelde:

Adaptec 2200S - RAID 1: 450 IOps
Adaptec 2200S - RAID 5: 443 IOps
Adaptec 2200S - RAID 10: 568 IOps
HP Smart Array 5302/128 - RAID 1: 466 IOps
HP Smart Array 5302/128 - RAID 5: 502 IOps
HP Smart Array 5302/128 - RAID 10: 632 IOps
LSI MegaRAID SCSI 320-2X 128MB - RAID 1: 712 IOps
LSI MegaRAID SCSI 320-2X 128MB - RAID 5: 834 IOps
LSI MegaRAID SCSI 320-2X 128MB - RAID 10: 867 IOps

Tweakers.net desktop benchmarks gemiddelde, 4 schijven:

Adaptec 2200S - RAID 5: 543 IOps
Adaptec 2200S - RAID 10: 610 IOps
HP Smart Array 5302/128 - RAID 5: 656 IOps
HP Smart Array 5302/128 - RAID 10: 833 IOps
LSI MegaRAID SCSI 320-2X 128MB - RAID 5: 990 IOps
LSI MegaRAID SCSI 320-2X 128MB - RAID 10: 948 IOps

[ Voor 13% gewijzigd door Femme op 29-03-2004 20:47 ]

[A_De2]

Femme schreef op 29 maart 2004 @ 20:42:
De Smart Array 5302 is wat sneller in RAID 10 met 4 drives dan RAID 5 met 4 drives. Je zou dus RAID 10 + hotspare kunnen gaan draien met de vijf 15K schijven. Dit gaat je wel 36GB opslagcapaciteit kosten tov RAID 5.

Femme, bedankt voor je benchmarks. Raid 10 is dus t.o.v. Raid 5 een 20 tot 50 procent sneller.

Gezien de data die op de disk komt te staan, zou 72GB ruim voldoende moeten zijn. Nu vraag ik me nog twee dingen af:

1) Is die snelheidswinst met zowel met schrijf- als leesacties te halen?
2) Kan die Hotline spare voor zowel de Raid 10 als Raid 1 stand-by staan?

[Femme]

1) Als er zeer veel schrijfacties plaatsvinden is RAID 10 verhoudingsgewijs nog wat sneller op de Smart Array 5302. In de webserver benchmark met 54 procent write I/O's en 88 procent geschreven data (vanwege access & error logging) is RAID 10 34 procent sneller. In de 'software installatie' desktop benchmark, die 82 procent write I/O's doet en waarbij 87 procent van de verplaatste data werd geschreven, is RAID 10 ongeveer 75 procent sneller dan RAID 5.

2) Ik heb het niet zelf uitgeprobeerd, maar het zou geen probleem mogen zijn. Meestal kun je een global hotspare aanwijzen die als hotspare kan dienen voor zowel je boot als data array. Zolang zo'n array redundant is (geen RAID 0) kunnen er hotspares aan toegewezen worden.

[Brahiewahiewa]

Op zich klinkt RAID 10 wel goed qua performance, maar het nadeel is dat het je een disk kost. Vooralsnog gaat die disk ten koste van de mirror die je eigenlijk voor je transactie logs wilt hebben. De performance van je Exchange server wordt in eerste instantie bepaald door de snelheid waarmee de transactie logs kunnen worden weggeschreven op schijf. Pas in tweede instantie speelt de toegangstijd tot je database volume een rol.

Bovendien wil je database en transactie logs op fysiek gescheiden volumes; dan kun je in geval van een disk crash altijd een complete restore (als in: de toestand zoals-ie was een fractie van een seconde voorafgaand aan die disk crash) van je database bereiken.

Kortom: ik zou gaan voor Elevator's suggestie; Femme's voorstel gaat voorbij aan de specifieke eisen die Exchange stelt.

Als je je nog een zesde 36G/15k schijf kunt veroorloven heb ik niks gezegd

[Femme]

Maar waarom kun je boot en transactie logs niet gewoon op dezelfde array zetten? De boot drive doet anders toch niks.

[ Voor 84% gewijzigd door Femme op 29-03-2004 22:07 ]

[elevator]

Omdat je op je bootdrive je pagefile zet

[A_De2]

Brahiewahiewa,
Raid 10 is toch een stripe set (2 disks) gemirrord (x2 dus) = 4 schijven. In geval van een system crash, draait de server toch gewoon door op de stripe of op de mirror? Hot spare springt er in?
In dat geval kun je toch en je database en je transaction logs op dezelfde array hebben staan?

Volgens jouw beredenering wil je je logs dus ook op een Raid 10 (max. performance) ??

[ Voor 14% gewijzigd door A_De2 op 29-03-2004 22:19 ]

[Femme]

elevator schreef op 29 maart 2004 @ 22:08:
Omdat je op je bootdrive je pagefile zet

Wordt er zoveel geswapt dan op een Exchange server met 2GB geheugen?

[A_De2]

Femme schreef op 29 maart 2004 @ 22:41:
[...]


Wordt er zoveel geswapt dan op een Exchange server met 2GB geheugen?

Nope, niet echt. Server draait nu nog als 2x 18 in mirror en 4x 36GB Raid 5. Swappen doet hij niet. Dus ik verwacht dat hij dat zometeen ook niet gaat doen.

[ Voor 10% gewijzigd door A_De2 op 29-03-2004 22:43 ]

[elevator]

Femme schreef op 29 maart 2004 @ 22:41:
Wordt er zoveel geswapt dan op een Exchange server met 2GB geheugen?

Windows swapt niet echt uit noodzaak voor geheugen gebrek - wat het wel doet is geheugen uitpagen wat niet gebruikt wordt, dat betekent dat zelfs met genoeg geheugen Windows op een gegeven moment je pagefile aan gaat spreken (er zijn nog meer situaties denkbaar waarbij dit gebeurt) - op het moment dat Windows staat te pagen wil je liever niet dat je logs vertraagd worden - meestal is dit maar een detail, maar waarom zou je niet voor de ideale setup gaan

[k-oz]

elevator schreef op 29 maart 2004 @ 22:08:
Omdat je op je bootdrive je pagefile zet

dat is qua performance niet aan te raden. Eingelijk zou je de pagefile op een aparte schijf moeten plaatsen.

[A_De2]

Elevator, het is inderdaad een idee. Ik heb stiekum nog een 18GB 15K rpm schijf liggen. Die zou ik dan kunnen benutten als swap schijf

*edit* k-oz is me net voor...

[ Voor 11% gewijzigd door A_De2 op 30-03-2004 00:19 ]

[k-oz]

Kijk ook eens hier naar

Op Swinc.com mogelijk ook nog wat intressants te vinden

[ Voor 34% gewijzigd door k-oz op 30-03-2004 00:24 ]

[elevator]

Pagefile op een aparte disk doe ik eigenlijk alleen in Citrix setups - dat is de enige situatie waar ik bij zo'n setup performance winst merk

(zie bv. ook http://support.microsoft.com/?id=327860 )

[maratropa]

Maareh, als je je pagefile op een aparte schijf zet, die dan niet redundant is, vliegt je systeem er dan nog niet uit als die schijf crashed? Want windows kennende zijn de blauwe schermen niet aan te slepen als ie ze pagefile niet meer vinden kan. Dus alles redundant en je pagefile niet lijkt me zinloos, toch?

[DaRealRenzel]

elevator schreef op 30 maart 2004 @ 00:12:
[...]

Windows swapt niet echt uit noodzaak voor geheugen gebrek - wat het wel doet is geheugen uitpagen wat niet gebruikt wordt, dat betekent dat zelfs met genoeg geheugen Windows op een gegeven moment je pagefile aan gaat spreken (er zijn nog meer situaties denkbaar waarbij dit gebeurt) - op het moment dat Windows staat te pagen wil je liever niet dat je logs vertraagd worden - meestal is dit maar een detail, maar waarom zou je niet voor de ideale setup gaan

Dit fenomeen voorkom je dus door je pagefile betrekkelijk klein te houden op een server met zoveel RAM. Bijv. in dit geval 100MB Initial, 150MB Max. Windows zal wel een en ander swappen, maar uiteindelijk zal enkel zeer zelden gebruikte code en pages in de swap terecht komen (en wordt er dus bijna niet meer geswapt).


Voor TS: Ik zou de volgende config maken:

- Array 1, 2x 18GB RAID-1, met 2 logical drives, LD0 8GB, LD1 rest van de disk
- Array 2, Ofwel alle 36GB Schijven in RAID-5 ofwel RAID-10. Eventueel met Hotspare. Als je meerdere servers n=met 36G disks hebt staan is een cold spare effectiever....

Qua install:

W2K op LD0. Zodra klaar, dan 100MB Pagefile op LD1. Die staat dan helemaal vooraan op de disk. Exchange binaries op LD0, Exchange Logs op LD1, Exchange Data op LD2. Dit vliegt, ook op jouw server. Ik denk zelfs dat met al je inspanningen zult merken dat je niet echt een merkbaar performanceverbetering hebt. Je server is al flink overkill voor 180 gebruikers met een mailstore van 15 GB. Heb ooit een 500 gebnruikers op een dual P-III-500 met 768MB Ram gedraait, en dat vloog ook. Hou er wel ff rekening mee dat Exchange STandaard 5.5 slechts 16GB mailstore kan hebben. Schakel dus snel over op Exchange Enterprise om te voorkomen dat je message store op slot gaat.


greetz,

[k-oz]

gladiool schreef op 30 maart 2004 @ 00:28:
Maareh, als je je pagefile op een aparte schijf zet, die dan niet redundant is, vliegt je systeem er dan nog niet uit als die schijf crashed? Want windows kennende zijn de blauwe schermen niet aan te slepen als ie ze pagefile niet meer vinden kan. Dus alles redundant en je pagefile niet lijkt me zinloos, toch?

Win2k maakt bij afwezigheid van een pagefile een melding dat er geen pagefile is en dat je deze moet aanmaken. Je systeem zal dus gewoon starten indien de schijf crasht waar de pagefile op staat.

Overigens heeft Sysinternals een freeware utility waarmee je je pagefile (en overige systeembestanden, hives, eventlogs etc) kunt defraggen (Pagedfrg) ... dit even terzijde...

[ Voor 1% gewijzigd door k-oz op 30-03-2004 00:39 . Reden: its late... ]

[A_De2]

DaRealRenzel schreef op 30 maart 2004 @ 00:33:
[...]
Voor TS: Ik zou de volgende config maken:

- Array 1, 2x 18GB RAID-1, met 2 logical drives, LD0 8GB, LD1 rest van de disk
- Array 2, Ofwel alle 36GB Schijven in RAID-5 ofwel RAID-10. Eventueel met Hotspare. Als je meerdere servers n=met 36G disks hebt staan is een cold spare effectiever....

Qua install:

W2K op LD0. Zodra klaar, dan 100MB Pagefile op LD1. Die staat dan helemaal vooraan op de disk. Exchange binaries op LD0, Exchange Logs op LD1, Exchange Data op LD2. Dit vliegt, ook op jouw server. Ik denk zelfs dat met al je inspanningen zult merken dat je niet echt een merkbaar performanceverbetering hebt. Je server is al flink overkill voor 180 gebruikers met een mailstore van 15 GB. Heb ooit een 500 gebnruikers op een dual P-III-500 met 768MB Ram gedraait, en dat vloog ook. Hou er wel ff rekening mee dat Exchange STandaard 5.5 slechts 16GB mailstore kan hebben. Schakel dus snel over op Exchange Enterprise om te voorkomen dat je message store op slot gaat.

Thnx voor de tips. Overigens draai ik Exchange Enterprise, sorry voor het niet vermelden.

[A_De2]

En misschien is mijn mailserver overkill voor het normale gebruik. Maar let eens op als je Antigen een manual scan laat draaien, max certainty

[DaRealRenzel]

A_De2 schreef op 30 maart 2004 @ 00:44:
En misschien is mijn mailserver overkill voor het normale gebruik. Maar let eens op als je Antigen een manual scan laat draaien, max certainty

Euh... Dat doe je toch zeker niet als gebruikers zitten te werken, maar buiten reguliere gebruikstijden ? Of hou jij van gebruikertje pesten......

[A_De2]

DaRealRenzel schreef op 30 maart 2004 @ 00:46:
[...]


Euh... Dat doe je toch zeker niet als gebruikers zitten te werken, maar buiten reguliere gebruikstijden ? Of hou jij van gebruikertje pesten......

Hehe, nee natuurlijk doe ik dat liever niet onder reguliere werktijden. Maar als ik een goede reden heb (overkoepelende organisatie heeft een virus binnen) dan wil ik zekerheid. En dan nog is er goed mee te werken.
Antigen neemt ongeveer de helft van de cpu kracht in beslag.

Overigens, gebruikertjes pesten van tijd tot tijd

[Femme]

elevator schreef op 30 maart 2004 @ 00:12:
[...]

Windows swapt niet echt uit noodzaak voor geheugen gebrek - wat het wel doet is geheugen uitpagen wat niet gebruikt wordt, dat betekent dat zelfs met genoeg geheugen Windows op een gegeven moment je pagefile aan gaat spreken (er zijn nog meer situaties denkbaar waarbij dit gebeurt) - op het moment dat Windows staat te pagen wil je liever niet dat je logs vertraagd worden - meestal is dit maar een detail, maar waarom zou je niet voor de ideale setup gaan

Zo nu en dan een beetje pagen zal echt geen grote aanslag plegen op de prestaties. Het lijkt me nog steeds prima kunnen samengaan met de Exchange logs op één array, tenzij je hele hoge performance nodig hebt maar dan moet je de logs niet op een RAID 1 zetten maar op iets snellers (RAID 10 of RAID 5 met meer schijven, veel cache op de RAID-adapter).

[Firefox]

de instelling mirror - mirror - raid5 is idd de meest gangbare. Alternatief kan je 10 gebruiken ipv raid 5.

waar wij hier voor hebben gekozen, maar dat is meer omdat we heel veel datastore wilden, en door de fabrikant niet minder dan 36 GB's kon worden geleverd, is het 2x36/2x36/6x146 geworden in ons geval. ( de raid 10 oplossing dus)

Waarom OS en Transaction logs apart?
__________________________________

- Performance: je wil SWAP en LOG niet op dezelfde fysieke disk hebben
- Troubleshooting: bij een BSOD wil je de mogelijkheid hebben tot troubleshooten als de shit echt groot is. dit vereist een swapfile ter grootte van het geheugen (ongeveer) op je systeem root
- Recovery: Bij Disaster Recovery moet je het systeem - desnoods handmatig - exact gelijk kunnen herbouwen. Hoe minder stappen nodig, hoe liever het is. Pagefile verplaatsen kost tijd en extra handelingen. En is dus in situaties van hoge stress een extra grote kans op fouten.

single disk toepassing (een enkele 18GB schijf) van pagingfile lijkt me niet slim in een redundante server... 't zal toch net die ene disk zijn die daar nog lag te zwabberen die het begeeft en de hele server plat trekt... *oeps*

Ik heb wat HD uitval in servers meegemaakt... Ik ben dan ook heel erg fanatiek gelover in redundantie boven snelheid. Hoewel mijn engelse collega's het misschien wat overdrijven. Die wilden een 2 tot 3 disk fault tolerant server hebben, wat resulteerde in een (softwarematige) mirror van 2 RAID-5 volumes in onze fileserver, maar dat terzijde.

[A_De2]

Aan een ieder die in dit topic met me heeft meegedacht: hartelijk dank.

De server draait sinds vandaag met:
2x 18GB in een mirror (system)
2x 36GB in een mirror (transaction logs)
4x 36GB in een mirrorred stripe set (Raid 10 (of 1+0 )

1x 18 GB als cold spare op de plank
1x 36 GB als cold spare op de plank

Maar nu we toch nog even bezig zijn... iemand enig idee wat de ideale stripesize is voor een Exchange 5.5 server? Daarmee bedoel ik uiteraard de instellingen op de array controler. Ik geloof dat blocks van 128KB default zijn.

[k-oz]

documentje van Microsoft: Storage Solutions for Microsoft Exchange 2000 Server