Planning Exchange server

[Jazzy]

Ik ben bezig met het bouwen van een vervangende mailserver. De setup is als volgt:

Server:
HP Proliant DL360
- Xeon 3.06
- 2 GB intern geheugen
- 2 x 36 GB Ultra 320 SCSI harddisks
- Smart Array 5Si RAID controller
- 2 x 2 Gb fiberchannel adapter

SAN:
2 x HP SAN Switch 2/8V
HP Sorageworks MSA 1000
- 2 x 2 Gb FC controller
- 7 x 72 GB Ultra 320 SCSI harddisks

De server draait Windows 2000 Server, is geen DC en gaat de mail verzorgen voor 100 gebruikers welke met Outlook XP contact maken. Op dit moment wordt dit nog gedaan door een Pentium III 733 zonder RAID. Zowel server als SAN zijn nieuw en worden voor het eerst opgenomen in het netwerk.

Mijn vraag heeft betrekking op het gebruik van de verschillende disks. De 2 interne schijven staan in RAID 1+0 zodat ik 36 GB beschikbaar heb voor het OS. Op de MSA 1000 heb ik een Array aangemaakt van 2 schijven en een spare. Daarop draait een logische disk van 72 GB, ook in RAID 1+0. Overigens is die 1+0 een standaard setting van de HP ACU, eerlijk gezegd weet ik niet wat dit betekent met slechts 2 disks.

Performance
De interne logische disk:
Avarage read: 54 MB/s
Burst read: 71 MB/s
Avarage seek: 9 ms

SAN logische disk:
Avarage read: 20 MB/s
Burst read: 43 MB/s
Avarage seek: 9 ms

Het schijnt dat RAID 0+1 de beste performance levert, in ieder geval iets beter dan RAID 5 en aangezien ik er een hot spare aan toegewezen heb is dat voor mij voldoende. Toch valt de performance me een beetje tegen tov. de interne disks. Gebruikelijk zou zijn om het OS op de interne disk te zetten en de logs en databases op het SAN. Ben ik op de goede weg of maak ik een denk- of configuratiefout?

[ Voor 7% gewijzigd door Jazzy op 26-07-2004 12:02 ]

[Flyduck]

Jazzy schreef op 26 juli 2004 @ 12:00:
De 2 interne schijven staan in RAID 1+0 zodat ik 36 GB beschikbaar heb voor het OS. Op de MSA 1000 heb ik een Array aangemaakt van 2 schijven en een spare. Daarop draait een logische disk van 72 GB, ook in RAID 1+0. Overigens is die 1+0 een standaard setting van de HP ACU, eerlijk gezegd weet ik niet wat dit betekent met slechts 2 disks.

Ik denk dat je intern alleen een RAID 1 hebt draaien, want voor een RAID 1+0 heb je minimaal 4 disks nodig.
Ik doe meestal system disk in RAID 1 en data disk in een RAID 5 configuratie. Volgens mij wordt dit ook aangeraden voor Exchange maar dat weet ik ff niet zeker.

[richard_kraal]

raid 5 is niet slim, je san kan je beter in raid 10 laten draaien, 2stripes in een mirror, raid 5 is trager dan raid 10.

[Verwijderd]

ik geloof (maar dat zeg ik uit mijn hoofd) dat in de manual van Exchange staat dat het gebruik van Raid 5 wordt afgeraden omwille vd performance.

Welke versie van Exchange ga je gebruiken 2000 of 2003?

[ReLight]

http://www.google.nl/sear...nge+2000+&btnG=Zoeken&lr=

Er is simpelweg een overvloed aan onderbouwde documenten op dit gebied.

>>Is het wel exchange b.t.w. Even teruggelezen, maar dat is niet gesteld..

Welk pakket is het TS ?

[ Voor 26% gewijzigd door ReLight op 26-07-2004 12:40 ]

[Verwijderd]

Microsoft heeft hier een mooi documentje over gemaakt. Lees het even door zou ik zeggen.
http://www.microsoft.com/...be-402e-9e2d-3b7b0820d2f4

Ik zou in ieder geval NIET voor een raid 5 opstelling gaan.
Zelf maak ik gebruik van 3x 18 GB in een raid1 opstelling

c: OS / exchange
d: databases
e: transaction logs

Moet zeggen dat bovenstaande configu behoorlijk soepel loopt. (op een dual P3 1,3 GHZ met 2 GB RAM )

[krflyer]

Waarom je druk maken over wat het snelste is? Kies de veiligste oplossing. Je bak kan het wel aan: je zegt zelf dat je maar 100 users hebt. Als die zelfs zware gebruikers zijn, hoef je je nog steeds geen zorgen te maken.

[Jazzy]

Verwijderd schreef op 26 juli 2004 @ 12:42:
Microsoft heeft hier een mooi documentje over gemaakt. Lees het even door zou ik zeggen.
http://www.microsoft.com/...be-402e-9e2d-3b7b0820d2f4
[...]
Zelf maak ik gebruik van 3x 18 GB in een raid1 opstelling

c: OS / exchange
d: databases
e: transaction logs

Bedankt, dat was het document wat ik eigenlijk zocht. Mijn setup is de setup zoals die door Microsoft wordt aangeraden. Ik heb alleen een tweede array gemaakt met een RAID 1+0 logische disk voor de transactie logs.

Het enige waar ik niet helemaal zeker van ben is wat het nut van dat laatste is, bijde arrays (D en E schijf) staan immers op hetzelfde SAN.

krflyer schreef op 26 juli 2004 @ 12:44:
Waarom je druk maken over wat het snelste is? Kies de veiligste oplossing. Je bak kan het wel aan: je zegt zelf dat je maar 100 users hebt. Als die zelfs zware gebruikers zijn, hoef je je nog steeds geen zorgen te maken.

Veiligheid is 1 ding, performance is minstens zo belangrijk. Het veiligste zou RAID 5 zijn voor alle bestanden maar als dat inhoud dat de gebruikers worden opgescheept met een traag reagerende Outlook dan ben je niets opgeschoten. Ik heb net een kleine € 35.000,- uitgegeven aan een server en een SAN, vandaar dat ik nu extra zorgvuldig ben om de optimale inrichting te kiezen.

Overigens gaan in de toekomst meer servers van het SAN gebruik maken, anders zou het een beetje overkill zijn.

[TAMW]

Met 2 gig geheugen draait het op zich prima, maar met het oog op de toekomst zou ik toch voor 4 Gig gaan.

Bovendien houdt de store wel van wat geheugen.
75 concurrent users met mailboxen van gemiddeld 50 mb zorgt toch wel voor een store.exe die 1500 mb gebruikt.

[Jazzy]

TAMW schreef op 26 juli 2004 @ 16:55:
Met 2 gig geheugen draait het op zich prima, maar met het oog op de toekomst zou ik toch voor 4 Gig gaan.

Bovendien houdt de store wel van wat geheugen.
75 concurrent users met mailboxen van gemiddeld 50 mb zorgt toch wel voor een store.exe die 1500 mb gebruikt.

Uitbreiden kan altijd, nu is 2 GB meer dan genoeg en het gebruik groeit maar matig. Nergens voor nodig om nu 750,- uit te geven voor 2 GB terwijl ik die nu niet nodig heb. Het is al duur genoeg.

Trek je trouwens niet te veel aan van een store.exe die 1500 MB gebruikt. Het geheugenbeheer is dynamisch dus de store gebruikt zoveel geheugen als er voorhanden is. Hoe meer geheugen je er in stopt, hoe meer geheugen er in gebruik is. Dat doet SQL server ook, daarom wordt ook afgeraden om die 2 samen op een server te draaien.

[NoE]

Ik zou het als volgt configureren:

MSA1000

de MSA heeft een interne Fiberchannel switch (Brocade 3200 OEM) waarvan 7 poorten beschikbaar zijn.

hiernaast heb je nog twee 8 poort switches van Hp (Brocade 3250 OEM)

ik neem aan dat je 2 fabrics maakt

code:

[MSA Controller 1 switch]     [MSA Controller 2 switch ]
           |                             |
  [8 poort switch]              [8 poort switch]
           |                             |
         [HBA1]                        [HBA2]

Zo heb je 2 fabrics, en de minste kans op "user" error en evt. software problemen van de switch.

Het raid systeem zou ik indelen als

5 data + 1 parity en 1 hotspare. zo heb je de meest effectieve ruimte die je kan krijgen uit de beschikbare disken + de gewenste beschikbaarheid + een goede performance (hoe meer spindels, des te beter de performance)
(btw plaats de hotspare in bay 14). zou kan je laten nog disken toevoegen als de ~360GB niet toereikend is.

Als je gaat mirroren ben je ten eerste 50% van de bruto capaciteit kwijt + dat je altijd per twee disken moet uitbreiden.

de interne disken van de server zou ik laten mirroren.

nog een kleine edit:

OS / Exchange Lokaal
Data > SAN

Het is ook een overweging om een apps LUN te maken

dus 3 luns c.q. disken op je san

APPS (Exchange)
LOGS (logs)
DATA (Database)

[ Voor 30% gewijzigd door NoE op 26-07-2004 19:18 . Reden: wat ascii tuning & typo's ]

[NoE]

MSA:

let wel dat de interne switch met maar een storage poort is aangesloten waardoor je er 7 van kan gebruiken.

als je al deze gaat aansluiten dan krijg je een oversubscribtion van 7:1! dit wordt nog dus groter als je er switch aan hangt.

de MSA kan ook niet load balancen over de controllers.

wat is je SAN planning? waren de beide switches nodig?

[TAMW]

Jazzy schreef op 26 juli 2004 @ 17:15:
[...]
Uitbreiden kan altijd, nu is 2 GB meer dan genoeg en het gebruik groeit maar matig. Nergens voor nodig om nu 750,- uit te geven voor 2 GB terwijl ik die nu niet nodig heb. Het is al duur genoeg.

Trek je trouwens niet te veel aan van een store.exe die 1500 MB gebruikt. Het geheugenbeheer is dynamisch dus de store gebruikt zoveel geheugen als er voorhanden is. Hoe meer geheugen je er in stopt, hoe meer geheugen er in gebruik is. Dat doet SQL server ook, daarom wordt ook afgeraden om die 2 samen op een server te draaien.

Het geheugenbeheer van de store is inderdaad dynamisch maar als de store genoeg heeft zal hij echt niets meer pakken hij blijft zeker niet groeien. Ook zal je zien dat hij af en toe weer krimt

Bij 2 gig geheugen, uitgaand van mijn voorbeeld 75 concurrent users enz, is 2 gig idd voldoende je zult zien dat je geheugen gebruik net niet in de swap loopt maar de rek is er uit.

Nu uitbreiden is financieel veel aantrekkelijker dan bijv over 2 jaar, het geheugen zal dan veel moeilijker te krijgen zijn waardoor de prijs een flink stuk hoger ligt.
Zeker in verhouding met de prijs van de rest van de server vindt ik dit een verkeerde besparing.

Jazzy schreef op 26 juli 2004 @ 12:00:
draait een logische disk van 72 GB, ook in RAID 1+0. Overigens is die 1+0 een standaard setting van de HP ACU, eerlijk gezegd weet ik niet wat dit betekent met slechts 2 disks.

Als je logisch nadenkt kun je aan de groote van de array zien (staat er bij) of het een RAID 1 of 0 wordt. Mijn ervaring met ACU is dat hij er een mirror van maakt.

[ Voor 21% gewijzigd door TAMW op 26-07-2004 18:55 ]

[Jazzy]

NoE schreef op 26 juli 2004 @ 17:36:
Ik zou het als volgt configureren:

MSA1000

de MSA heeft een interne Fiberchannel switch (Brocade 3200 OEM) waarvan 7 poorten beschikbaar zijn.

Dit is een optie, welke ik dus niet gekozen heb. Mijn MSA1000 heeft gewoon 2 interne enkelvoudige 2 Gb FC controllers.

ik neem aan dat je 2 fabrics maakt

code:

[MSA Controller 1 switch]     [MSA Controller 2 switch ]
           |                             |
  [8 poort switch]              [8 poort switch]
           |                             |
         [HBA1]                        [HBA2]

Zo heb je 2 fabrics, en de minste kans op "user" error en evt. software problemen van de switch.

Correct, zo is het opgesteld. Behalve dat in de MSA dus geen switches zitten.

Het raid systeem zou ik indelen als 5 data + 1 parity en 1 hotspare...zo heb je de meest effectieve ruimte die je kan krijgen uit de beschikbare disken + de gewenste beschikbaarheid + een goede performance (hoe meer spindels, des te beter de performance)

Dat wordt afgeraden door Microsoft, voor Exchange databases en logs wordt RAID 0/1 aangeraden. RAID 5 levert inderdaad net iets hogere mate van redundancy maar is het traagst qua performance.

Het is ook een overweging om een apps LUN te maken

dus 3 luns c.q. disken op je san

APPS (Exchange)
LOGS (logs)
DATA (Database)

Ik waardeer je meedenken maar zoals je hierboven hebt/had kunnen lezen is dat precies hoe ik het inmiddels gedaan heb.

wat is je SAN planning? waren de beide switches nodig?

Het blijft bij 1 SAN maar er worden de komende 2 jaar nog 4 andere servers op aangesloten. De 2e switch is gekozen om zoveel mogelijk single points of failure uit te sluiten. Zo langzamerhand gaat iedere belangrijke dienst in ons bedrijf (databases, DDM-applicatie, e-mail, ERP-pakket) zijn data op het SAN opslaan. Bij uitval ligt dus het hele bedrijf stil.

Het managen doe ik met HP StorageWorks Secure Path. Iemand hier ervaring mee? Mijn leverancier geeft een levertijd op van 2 weken.

[NoE]

quote:
Het raid systeem zou ik indelen als 5 data + 1 parity en 1 hotspare...zo heb je de meest effectieve ruimte die je kan krijgen uit de beschikbare disken + de gewenste beschikbaarheid + een goede performance (hoe meer spindels, des te beter de performance)
Dat wordt afgeraden door Microsoft, voor Exchange databases en logs wordt RAID 0/1 aangeraden. RAID 5 levert inderdaad net iets hogere mate van redundancy maar is het traagst qua performance.

==

Vindt ik raar, als ik kijk naar onze klanten (enterprise & midrange van MSA, EVA tot XP1024), draaien daar 95% met raid 5.

Heb je het al zelf getest?. Meten is weten namelijk!, ik betwijfel of raid 5 de bottleneck is c.q. wordt. Denk ook aan de toekomst.

SecurePath (Failover, loadbalancing). Heb ik standaard op de zaak liggen. het wachten is normaal op de "formele" licentie. Vaag, dat de leverancier dat standaard niet bij zich heeft.

[Jazzy]

NoE schreef op 26 juli 2004 @ 21:23:
Vindt ik raar, als ik kijk naar onze klanten (enterprise & midrange van MSA, EVA tot XP1024), draaien daar 95% met raid 5.

Kijk anders even in dit document: Verwijderd in "Planning Exchange server"

Heb je het al zelf getest?. Meten is weten namelijk!, ik betwijfel of raid 5 de bottleneck is c.q. wordt. Denk ook aan de toekomst.

Ik heb het vanmiddag gemeten, de performance lag op ca. 70% van RAID 1+0.

Overigesn heb ik nog steeds deze vraag:

De interne logische disk:
Avarage read: 54 MB/s
Burst read: 71 MB/s
Avarage seek: 9 ms

SAN logische disk:
Avarage read: 20 MB/s
Burst read: 43 MB/s
Avarage seek: 9 ms

[...]

Toch valt de performance me een beetje tegen tov. de interne disks.

Kan iemand deze waarden bevestigen? Ik heb ze gemeten met HDTach.

[ Voor 7% gewijzigd door Jazzy op 27-07-2004 19:38 ]

[Brahiewahiewa]

Kijk effe op http://www.microsoft.com/...003/library/messsyst.mspx
dan vind je

RAID solution	Number of drives (cost)	Maximum writes/second	Maximum reads/second	Reliability
RAID-0	10	1000	1000	Low
RAID-0+1	20	1000	2000	Very high
RAID-5	11	275	1100	High

[Equator]

Ik mis in het verhaal de optie RAID-ADG (Advanced Data Guarding) waarbij je een theoretische RAID-5 hebt waarvan er 2 disken kunnen uitvallen.
De MSA500 en de MSA1000 kunnen dit beide.

---

Wat betreft het performanceverhaal.

in de MSA kan je 14 disken steken. Hoe is je verdeling momenteel. Heb je 7 disken naast elkaar geplaatst, en de rest leeg (met de dummy erin) of heb je rekening gehouden met de IO paden binnen dat ding, en heb je de disken verdeeld over de 2 kanalen.
3 aan de ene kant, en 4 aan de andere.

[Jazzy]

CyberJ schreef op 27 juli 2004 @ 07:32:
Ik mis in het verhaal de optie RAID-ADG (Advanced Data Guarding) waarbij je een theoretische RAID-5 hebt waarvan er 2 disken kunnen uitvallen.
De MSA500 en de MSA1000 kunnen dit beide.

Die heeft een vergelijkbare performance als RAID5. Het beste alternatief voor de veiligheid maar wordt door MS afgeraden voor Exchange.

in de MSA kan je 14 disken steken. Hoe is je verdeling momenteel. Heb je 7 disken naast elkaar geplaatst, en de rest leeg (met de dummy erin) of heb je rekening gehouden met de IO paden binnen dat ding, en heb je de disken verdeeld over de 2 kanalen.
3 aan de ene kant, en 4 aan de andere.

Exact, ik heb bay 1, 2, 3, 4, 8, 9 en 10 in gebruik.

Ter illustratie van het verschil tussen de interne disks en het SAN dit grafiekje: (bijzonder klikbaar overigens)

[ Voor 5% gewijzigd door Jazzy op 27-07-2004 09:06 ]

[Verwijderd]

nou heb ik 0,0 verstand van san, nas, fiberchannel en alles wat met dat soort opslag te maken heeft, maar ik vindt een average read van 20mb/s wel erg aan de lage kant voor een apparaat dat vele 1000en euro's kost, maar nogmaals ik heb geen idee hoe dit zich verhoudt tegen andere storage oplossingen.

[Brahiewahiewa]

Er is òf iets mis met die benchmark tool van jou, òf iets vreselijk mis met jouw harddisks.
Als ik die hdtach op m'n laptop draai, meet ik op m'n zwaar gefragmenteerde 4200 rpm schijfje toch nog 46 MB/s

[Coen Rosdorff]

Ik denk dat die hele san geoptimaliseerd is voor random io. Dat geeft lage scores in dit soort benchmarks.

[Jazzy]

Brahiewahiewa schreef op 27 juli 2004 @ 14:41:
Er is òf iets mis met die benchmark tool van jou, òf iets vreselijk mis met jouw harddisks.
Als ik die hdtach op m'n laptop draai, meet ik op m'n zwaar gefragmenteerde 4200 rpm schijfje toch nog 46 MB/s

Klopt, ik heb ter referentie ook een paar andere servers gecheckt en die performen aanzienlijk beter. Ik heb mijn leverancier een call bij HP laten uitzetten. Ik laat wel horen wat er verder uit is gekomen.

[Taigu]

Als je SAN zo bedrijfkritisch is, zou ik toch RAID-5 gaan draaien. Een dikke controller met goede battery en flinke sloot geheugen helpt de RAID-5 performance toch aardig omhoog. Hiernaast zou ik ook met beide voeten op de aarde blijven, je hebt maar 100 users. Wat was je van plan aan data te krijgen btw ?

Edit: Ik kan het mis hebben, maar volgens mij is de 2gb fiberoptic verbinding de bottleneck in het verhaal, niet je schijven/RAID config

[ Voor 20% gewijzigd door Taigu op 28-07-2004 16:21 ]

[Brahiewahiewa]

Jazzy schreef op 28 juli 2004 @ 14:07:
[...]
Klopt, ik heb ter referentie ook een paar andere servers gecheckt en die performen aanzienlijk beter. Ik heb mijn leverancier een call bij HP laten uitzetten. Ik laat wel horen wat er verder uit is gekomen.

Dat geeft je dan mooi de tijd om met JetStress te gaan spelen; die geeft een redelijke voorspelling over hoe je machine zich als Exchange server zal gaan gedragen. Dan kun je misschien eens als die verschillende RAID scenario's doornemen (vergeet dan niet de resultaten hier te posten)

[Verwijderd]

Is je MSA1000 niet nog aan het builden van zijn raid sets bezig
Dat kan ook nog wel eens een tijdje duren en tijdens deze build is de raid set uiteraard niet vooruit te branden.

Och das de 2 de keer dat me dit gebeurt.
Verkeerde knop gekozen. Tijd om te gaan slapen.
Topic mag naar de prullebak

[Jazzy]

Brahiewahiewa schreef op 29 juli 2004 @ 11:29:
[...]

Dat geeft je dan mooi de tijd om met JetStress te gaan spelen; die geeft een redelijke voorspelling over hoe je machine zich als Exchange server zal gaan gedragen. Dan kun je misschien eens als die verschillende RAID scenario's doornemen (vergeet dan niet de resultaten hier te posten)

'Helaas', ik ga de komende week niets aan de server doen wegens vrije dagen.

Daarna gaan we vrolijk verder. Ik ben inmiddels zelf met HP in de slag gegaan omdat de leverancier niet echt adequaat mee wilde/kon denken. HP pakt het goed op, denkt mee en laat me een hele berg tests doen. De resultaten heb ik gemaild en als reaktie moet ik nog een paar zaken veranderen en opnieuw testen. Jammer dat ik het nu niet kan afronden maar dat is niet anders. Het in produktie nemen is voorlopig even gecancelled dus vertraging hebben we toch.

Als er weer ontwikkelingen zijn dan laat ik het horen. Overigens ben ik nog zeer geïnteresseerd wat anderen halen voor doorvoer.

[Jazzy]

Okay, dit was dus de situatie:


Nu is het zo:


Je ziet dus dat in de onderste screenshot de externe array vrijwel identiek presteert als de interne array. De storing was verholpen na een registerwijzinging aan de driver van de FCA2214 fiberchannel adapter.

Deze is voorzien van een Qlogic chipset en in de praktijk blijkt hij onder Linux perfect te werken maar onder Windows toch wat buggy te zijn. Ook al werkt het nu wel ben ik toch bezig om een vervangende HBA te krijgen met een Emulex chipset, dat is de FCA2404. Die is nog wat goedkoper ook omdat je geen losse GBIC meer hoeft te bestellen.

De ondersteuning door HP was trouwens formidabel, echt de support die je mag verwachten by high-en spul. Mijn complimenten!

Verder iedereen bedankt voor het meedenken.