Performance winst, enkele of dubbele array op controller?

[Verwijderd]

Binnenkort ga ik een HP DL380 G4 server installeren. Standaard zit hier een Smart Array 6i Ultra320 Array Controller in. Nu vroeg ik mij af of ik performance winst kan halen als ik twee raid5 array's met drie schijven maak inplaats van één raid5 array met zes schijven.

Op het forum van HP en Google zelf kan ik weinig hierover vinden. Echter zou het mij niks verbazen als het controller afhankelijk is. Zelf lijkt mij dat het voordeel heeft op doorvoersnelheid en zoektijd omdat de arrays los van elkaar functioneren en dus zich alleen hoeven te concentreren op hun arrays/ schijven. Echter weet ik bijvoorbeeld niet, hoe een controller werkt en of hij dus een opdracht voor de arrays te gelijk kan verwerken of dat hij deze als nog achter elkaar verwerkt. Zo zullen er mogelijk meer redenen kunnen zijn waarom dit juist negatief kan uitvallen.

Ik ben benieuwd of jullie mij hier duidelijkheid over kunnen geven? Of juist mijn conclusie kunnen bevestigen.

[SpamLame]

Tja de array's functioneren weliswaar los, maar hebben tegelijkertijd de helft minder spindels die aan het werk kunnen.
Naar welke "performance" ben je op zoek?

Bij een nuttige opslag capaciteit van 4 spindels i jouw voorstel, is een R10 array wellicht ook een optie voor je?

[ Voor 26% gewijzigd door SpamLame op 18-12-2009 15:27 ]

[StarWing]

welke data ga je op de raid set(s) zetten ?

OS, DB, fileserver-data, etc etc

[swbr]

Als je twee filesystemen maakt en veel data moet overzetten van het ene naar het andere filesysteem, dan kun je waarschijnlijk beter twee arrays maken. Maar over het algemeen is de stelregel, hoe meer spindles hoe beter.

Je kunt natuurlijk ook een paar dagen inplannen om verschillende configuraties te maken en te testen wat het beste performed.

[DJ]

Wat je ook nog eens vergeet is dat de Ultra320 SCSI bus dan dubbel belast gaat worden. Je hebt maar één bus en daar ga je twee RAID sets op draaien. Nu kan SCSI wel wat zaken dubbel / tegelijkertijd aansturen, maar de bandbreedte van de totale bus is maar 320MBit.
Wat mij betreft kun je dus beter één grote RAID 5 set aanmaken van 6 disken. Daar kun je dan met verschillende partities weer een scheiding in maken.

Op de nieuwe SAS controllers (P400 bijvoorbeeld) heb je gewoon per disk een bandbreedte van 3GBit (maximaal, in de praktijk niet vaak gehaald). Dan maakt het niet veel meer uit in pure bandbreedte hoeveel RAID sets je hebt per RAID controller. Uiteraard heb je nog altijd dan wel extra processor en cache overhead per RAID set . . .

[Question Mark]

Vergeet ook niet dat je met 2x een Raid 5 in totaal 2 disken voor parity "kwijt bent".

Wat voor soort I/O verwacht je eigenlijk? Als je met name veel writes krijgt is een enkele Raid10 misschien nog wel een betere oplossing.

[Gertjan]

Antaresje schreef op vrijdag 18 december 2009 @ 15:44:
Als je twee filesystemen maakt en veel data moet overzetten van het ene naar het andere filesysteem, dan kun je waarschijnlijk beter twee arrays maken. Maar over het algemeen is de stelregel, hoe meer spindles hoe beter.

Dat is bij RAID 5 niet helemaal waar: bij meer spindels kost het ook meer tijd om de parity te berekenen. Wil je RAID5, maar wel meer spindels toevoegen voor meer performance dan ga je meestal naar RAID 50. Maar m.i. is RAID 10 dan een logischer keus.

[Verwijderd]

Met opzet heb ik niet genoemd waar de server voor gebruikt zou worden. Ik wilde namelijk graag alleen een antwoord op mijn theorietje. Maar na jullie reactie's had ik het beter wel gewoon kunnen vermelden.

De server gaat gebruikt worden als SQL en File server. Dit gaat dus inhouden dat er veel op gaat worden weggeschreven. Helaas is de smart array 6i controller beperkt tot de volgende raid functies: 0, 1, 1+0, of 5. Tevens heeft de server maar 6 slots voor hardeschijven.

Na dat ik jullie reacties heb gelezen en nog wat rond gegoogled te hebben neig ik toch sterk naar de 1+0 configuratie. Het is alleen wel jammer dat dit ten koste gaat van drie van de 6 schijven, maar geeft vervolgens wel weer de best mogelijke performance. Qua betrouwbaarheid maakt het niet uit of je raid 5 of 10 kiest.

Ik neem aan dat jullie het eens zijn met deze constatering aangezien ik niet echt andere mogelijkheden zie?

[Sparhawk]

Verwijderd schreef op maandag 11 januari 2010 @ 16:23:

Qua betrouwbaarheid maakt het niet uit of je raid 5 of 10 kiest.

Jawel, want als er in een raid5 twee schijven stuk zijn, dan ben je je data kwijt.
In je raid10, kun je tot 3 schijven stuk hebben (moet je wel mazzel hebben dat het de goede 3 zijn....) zonder dat je data kwijt is. Ook het rebuilden van een raid10 gaat sneller.... Merendeel is mierengeneuk, maar toch

[Question Mark]

Verwijderd schreef op maandag 11 januari 2010 @ 16:23:
De server gaat gebruikt worden als SQL en File server.

In het algemeen is het de best practise voor database servers dat de databasefiles en logfiles op verschillende arrays geplaatst worden.

Met 6 disken in het bezit zou ik persoonlijk zeer sterk overwegen om de databases op een raid10 array van 4 disken te plaatsen, en de transactional log files op een mirror van 2 disken.

Qua load zijn logfiles niet zo heel spannend (meerendeel sequential write), de databases zijn meestal veel random read/write. Het splitsen van de data naar verschillende arrays heeft verder als groot voordeel dat je altijd kunt restoren naar elk "point in time":

• Crashed de array waar de DB's op staan, dan restore je die van backup en door middel van het replayen van je logfiles breng je de DB's weer up to data.
• Crashed de array waar de logfiles op staan is er weinig aan de hand. Alle actuele data staat immers in de DB's op het andere array

De meest ideale inrichting is uiteraard afhankelijk van de verwachte load op het systeem en wat je eisen en wensen mbt disaster recovery zijn.

De beste optie is om uiteraard een aantal scenario's te bouwen om vervolgens wat stresstesten op het systeem los te laten.

Probeer indien mogelijk nog een BBWC te installeren op de Raid controller. Dat gaat je zeker veel perfomance schelen.

[ Voor 4% gewijzigd door Question Mark op 11-01-2010 18:46 ]

[Rolfie]

GBAD schreef op maandag 11 januari 2010 @ 16:23:
De server gaat gebruikt worden als SQL en File server.

Over wat voor een database hebben we het? Hoe zwaar wordt die gebruikt?
Afhankelijk hiervoor zal ik voor Raid 5 + Spare kiezen of een Raid 0+1.
Hoeveel geheugen zitter op de raid controllers? En zit er een BBWC in? De kans is groot dat dit een groter verschil uitmaakt voor je snelheid.

[Verwijderd]

Op de controller zit een BBWC van 128MB dit is het maximale wat er mogelijk is. Totaal komt het geheugen van de controller neer op 192MB.

De databases die draaien op de server zijn:
- Exact Globe databases, boekhoud programma ongeveer 450 adm.
- Exact Synergy databases, CRM programma. Hierin gaan allemaal binaire bestanden komen. Doc, xls, PDF enz.
- Uren registratie database
- Fiscale database, aangiftes enz.

Zo als je ziet gaat dit neerkomen op zowel veel lezen als schrijven. Daar komt nog is boven op dat deze machine ook als file server dient. Op zijn top zal er door maximaal 42 man tegelijk gebruik worden gemaakt van de server.

Question Mark heeft gelijk dat de best practice voor een SQL server is dat je de log bestanden los plaatst. Echter als ik met 4 schijven in raid 10 ga draaien en 2 in raid 1 ik problemen ga krijgen met me opslag aangezien ik nu al aan de 450GB zit aan databases en files. Helaas zijn de SCSI Ultra320 schijven beperkt tot 300GB in grote.

Het gaat dus neer komen op de volgende opstelling:
1. Raid 10, 6x 300GB = Data, 900GB
2. Raid 5, 4x 300GB + Raid 1, 2x schijven. Op de 2 schijven Log + OS = Data, 900GB
3. Raid 10, 4x 300GB + Raid1, 2x schijven. Op de 2 schijven Log + OS = Data, 600GB

Waarschijnlijk zijn situatie 1 en 3 sneller dan situatie 2. Situatie 3 is het best. Echter gaat dit wel ten koste van de beschikbare ruimte.

Sowieso wil ik gaan testen of de schrijf snelheid op deze server tussen Raid 5 4 schijven en Raid 10 6 schijven veel scheelt.

[Rolfie]

Ik weet niet welk OS jee gebruikt, windows 2003 heeft standaard heen disk alignment. Windows 2008, wel. Speel ook met je block grote van zowel je Array als de cluster size, maar pas deze zoveel mogelijk op elkaar aan.

Ik denk dat optie 1 het snelste zal zijn. Hij gebruikt dan zoveel mogelijk disks. Maar met 450Gb aan huidige data, wat is je groei verwachting? Want als je naar 900Max kan door groeien, dan heb je niet echt veel ruimte op je server. SQL DB, SQL Log, OS, Userdata (pagefile?) wil je op verschillende partities hebben. maar genoeg ruimte over houden voor groei. Das niet veel....

Voor je OS: Disk Partition Alignment Best Practices for SQL Server (is wel 2008)

[DJ]

Ik zou toch proberen om een extra server of RAID controller erbij te plaatsen. Als je voor een extra RAID controller kiest dan zou je een extern disk cabinet kunnen overwegen. Hiermee kun je ook de load op de SCSI bus beter verdelen (alles over één bus of twee SCSI bussen en dus dubbele bandbreedte totaal).

Als je voor een extra server kiest dan kun je die gaan sizen als DB machine voor je Exact omgeving. Mijn ervaring met Exact omgevingen (en ook met Synergy erbij) is dat als je een omgeving als jij schetst toch al snel tegen de grenzen van je systeem gaat lopen. Ik heb DL380G4's met dubbele RAID controllers tegen de klippen op zien lopen met Exact en Synergy (aparte RAID controller voor de RAID 1 waarop OS en LOGS staat en de andere RAID controller voor de RAID set van de DB).
Met wat SQL tuning en hier en daar aanpassen van de SQL queries (voor performance) bleef het wel lopen en was het werkbaar, maar ik had niet graag ook nog een File server functie bij die server gehad . . .
(de machine was 4GB en 64bit Windows 2003 R2 en Dual proc).

[Femme]

Je moet wel erg veel logging hebben wil het wegschrijven van logfiles een bottleneck gaan worden voor je performance. Het zijn doorgaans sequentiële schrijfacties die goed geoptimaliseerd kunnen worden door een controller met write-back cache. Door een grote raid array ipv raid 10 + raid 1 te gebruiken zal het array waar de data op staat beter presteren.

Twee raid 5 arrays kunnen mogelijk sneller zijn maar alleen als de belasting op beide gelijkmatig is. De piekperformance van een enkel groot array is uiteraard hoger. Als je niet een continue gelijkwaardige belasting van zowel de fileserver als de database hebt kun je beter een groot array gebruiken.

DJ schreef op maandag 21 december 2009 @ 09:35:
Wat je ook nog eens vergeet is dat de Ultra320 SCSI bus dan dubbel belast gaat worden. Je hebt maar één bus en daar ga je twee RAID sets op draaien. Nu kan SCSI wel wat zaken dubbel / tegelijkertijd aansturen, maar de bandbreedte van de totale bus is maar 320MBit.
Wat mij betreft kun je dus beter één grote RAID 5 set aanmaken van 6 disken. Daar kun je dan met verschillende partities weer een scheiding in maken.

De bandbreedte is 320MB/s per kanaal en waarschijnlijk heeft hij twee kanalen. Het is natuurlijk onzin dat het gebruik van twee arrays de belasting van de bus zal verdubbelen ten opzichte van een enkele array bij een gelijkblijvende belasting van de server. Er is alleen wat meer overhead omdat er meer parity bits worden geschreven.

[Fiander]

Ik zou zelf kiezen voor raid 1 voor de logfiles van SQL ( ntfs formateren met 8K of 16K blocken )
En de 4 andere disken in raid 5. deze geformateerd op 64K blocken geformateert.

Welke opzet je ook kiest,
Het zorgen dat de datafiles van SQL op een ntfs partitie komen welke in 64K blocken geformateert is scheelt ongeveer 30% ten opzichte van standaard format.

de raid 1 set zou je dan ook voor het OS kunnen gebruiken ( wel andere partietie doen. )
De raid 5 set zorgt ervoor dat je iets sneller kunt lezen, maar iets slechter kunt schrijven tenopzichte van een raid 1+0 set met 4 disken, maar SQL heeft over het algemeen meer lees dan schrijf acties op de datafiles.

vergeet ook niet om de stripe set aan te passen op de blockgrote van ntfs.

Tevens maakt het aantal databestanden per database erg uit. aangeraden word om 1 databestand per cpu core aan te maken. bij een dualcore twee cpu machine zou je dan bijvoorbeeld je tempdb moeten aanpassen zodat deze 4 datafiles krijgt.

[Question Mark]

Femme schreef op dinsdag 12 januari 2010 @ 14:07:
Je moet wel erg veel logging hebben wil het wegschrijven van logfiles een bottleneck gaan worden voor je performance. Het zijn doorgaans sequentiële schrijfacties die goed geoptimaliseerd kunnen worden door een controller met write-back cache.

Maar dat betekend dat je geen disaster recovery naar elk point in time uit kunt voeren. Als immers je array uitvalt zijn zowel je DB's als je logfiles weg. Da's ook de reden dat het best practice is om deze op aparte arrays te plaatsen (en niet zozeer de performance).

De bandbreedte is 320MB/s per kanaal en waarschijnlijk heeft hij twee kanalen.

Een Smart Array 6i is een single channel controller.

[DJ]

Femme schreef op dinsdag 12 januari 2010 @ 14:07:

[...]


De bandbreedte is 320MB/s per kanaal en waarschijnlijk heeft hij twee kanalen. Het is natuurlijk onzin dat het gebruik van twee arrays de belasting van de bus zal verdubbelen ten opzichte van een enkele array bij een gelijkblijvende belasting van de server. Er is alleen wat meer overhead omdat er meer parity bits worden geschreven.

Als je twee kanalen hebt dan valt dat inderdaad mee. Ik lees net op de HP site dat je in de DL380G4 inderdaad de mogelijkheid hebt voor een tweede kanaal op de 6i. Ik ging uit van een één kanaals 6i zoals in een DL360G4.

[DJ]

Question Mark schreef op dinsdag 12 januari 2010 @ 14:34:
[...]

[...]

Een Smart Array 6i is een single channel controller.

http://h18000.www1.hp.com...s/smartarray6i/index.html
Hier staat dat de DL380G4 een mogelijkheid heeft voor een dubbele aansluiting. Ik ging er ook van uit dat hij maar één kanaal had . . .

[Fiander]

[...]
Maar dat betekend dat je geen disaster recovery naar elk point in time uit kunt voeren. Als immers je array uitvalt zijn zowel je DB's als je logfiles weg. Da's ook de reden dat het best practice is om deze op aparte arrays te plaatsen (en niet zozeer de performance).
[...]

Zou je mij kunnen vertellen waar deze best practive vandaan komt ?
Ik ken em echt alleen ivm het sequentieel schrijven van de logfile.

als je je logfile kwijt bent, ben je zo wie zo je mogelijkheid tot point in time kwijt.
als je je datafile kwijt bent, ben je je data kwijt, en heb je echt helemaal niks meer aan je logfile.
daarom ook altijd backupen ( zowel full als tran ) en vooral de tran meerdere keren per uur.

[Question Mark]

Die pagina had ik gisteren ook al even opgezocht . Er staat:

The DL380 G4 has a second channel for optional duplex backplane support or external tape support.

Volgens mij wordt daar puur een externe aansluiting bedoeld voor een tapedrive oid, maar goed ik kan het ook mis hebben. niet dus, zie onderstaande post.

[ Voor 6% gewijzigd door Question Mark op 12-01-2010 14:56 ]

[Fiander]

The DL380 G4 has a second channel for optional duplex backplane support or external tape support.

Dit betekend dat ipv de standaard backplane met 1 scsi kanaal voor 6 schijven, er eventueel ( meerprijs )
ook twee halve backplanes in geplaatst kunnen worden zodat je 3 schijven per kanaal krijgt.
OF een externe SCSI device.

dat laatste kan uiteraard ook een complete scsi behuizing met 6 schijven zijn.

[DJ]

Fiander schreef op dinsdag 12 januari 2010 @ 14:53:
[...]

Dit betekend dat ipv de standaard backplane met 1 scsi kanaal voor 6 schijven, er eventueel ( meerprijs )
ook twee halve backplanes in geplaatst kunnen worden zodat je 3 schijven per kanaal krijgt.
OF een externe SCSI device.

dat laatste kan uiteraard ook een complete scsi behuizing met 6 schijven zijn.

Voor zover ik weet krijg je dan ipv 6 disken op één kanaal uiteindelijk 2 disken en 4 disken. Disk 0 en 1 komen op het eerste kanaal en disk 2 t/m 5 komen op het tweede kanaal. Je kan dan dus één RAID 1 draaien en één RAID 5 (of ook nog eens twee RAID 1 sets of een andere smaak ).

[Fiander]

Geen idee hoe de disk indeling is van de server,
Ik weet alleen wel, dat je rustig een array kunt maken met disken over meerdere kanalen, je word echt niet gedwongen om array 1 over kanaal 1 te zetten en array 2 over kanaal twee.