+1 webserver oplossingen

[RobbyNitroz]

Ik heb op dit moment 1 website draaien op 1 webserver (dual Opteron 2Ghz met 2 Ghz geheugen).
De website draait onder IIS6, win2003 en maakt gebruik van SQLserver.

Probleem:
Op de drukkere tijden op de website is de cpu tussen de 80-100% belast. w3wp.exe en SQL server nemen beiden ongeveer evenveel cpu in gebruik (sql server ietsje meer en natuurlijk een tikje later als w3wp.exe).

Oplossingen:
Nou zou ik de 2Ghz cpus kunnen vervangen voor 3Ghz versies maar dit lijkt me niet een oplossing waarmee ik veel ruimte voor groei overlaat. Wel simpel om te verwezelijken

Andere oplossing is een tweede server lokaal achter de eerste plaatsen en daar SQl server op draaien. Vrij makkelijk verwezelijken; server installeren, database overpompen, link naar db in de code veranderen en het zou moeten werken. Iets kwetsbaarder dan 1 server omdat als 1 vande twee down gaat de website niet werkt

Een andere oplossing is een tweede machine bijplaatsen en daar ook win2003, iis6, sql server op draaien en de aanvragen tussen deze twee machines verdelen (loadbalancen ) en de database repliceren. Minder kwetsbaar als de vorige oplossing. Wel ingewikkelder; de vorige optie durf ik zelf wel aan zonder slapeloze nachten maar van deze oplossing kan ik niet zo goed inschatten hoe lastig ik het mezelf maak.

vragen:
Wat is de meest logische oplossing?
Wat levert de grootste prestatiewinst?
Is optie 3 ingewikkeld? (beetje subjectieve vraag natuurlijk)
Mis ik opties?

thanx voor jullie input!

[Viper®]

Ik zou voor het eerste gaan.

2 servers, 1 voor front end, 1 voor back end

Misschien niet het snelste, wel het makkelijkste/goedkoopste.

een clustered sql oplossing is weer lastiger. Loadbalancer vereist eigenlijk ook weer een apart systeem

[arnob]

gescheiden kan je makkelijker tunen. heb je nu ook gekeken naar tuning?
IIS loadbalancing zou ik pas mee beginnen als de SQL apart is.
SQL replicatie zou ik niet zomaar gebruiken.

[ajhaverkamp]

Nog een oplossing: je website proberen te optimaliseren zodat deze minder belasting op de webserver genereerd. Slimmere query's etc.

[axis]

Hmm.. Meest logische lijkt me zelf SQL op een aparte doos.. Een per CPU SPLA licentie voor SQL Server is zo pokkeduur dat het slimmer is om een dual machine te kopen met één dikke CPU, bijvoorbeeld een Xeon 5160, en later nog eentje bij te prikken mocht het nodig zijn.

Bijkomende voordeel is dat je beide machines kunt optimaliseren voor hun specifieke gebruik.

Meestal houdt met 1 dikke databaserver, en meerdere goedkopere webservers, gebalanced met NLB.

Optie 3 lijkt me niet efficient, maar inderdaad wel fail-safer.. Zou het zelf niet doen, omdat je ook nog je SQL databases gerepliceerd moet houden, en je 2 peperdure SQL licenties betaalt..

Databaseserver maak je een lean mean machine van, met bijvoorbeeld een snelle RAID10 opstelling (afhankelijk van eisen en soort gebruik natuurlijk), en doe je verder niets mee.. Alleen SQL, af en toe patches, klaar. Als het mogelijk is hang je die ook niet aan het net, maar zet je die in een apart subnet, achter je webserver..

[RobbyNitroz]

<nitroz is blij met de snelle reacties :)>
Mmh ik ben blij dat de overhand nu nog zou kiezen voor een aparte sql bak. De voor mijn gevoel "simpelste" oplossing.

Uiteraard zijn we constant zoekende naar efficientere code en ben ik me ervan bewust dat onze code zeker "nog" niet optimaal is. Een van de opties in de website is het bijhouden voor elke user of een topic gelezen en/of er iets is toegevoegd sinds de laatste keer dat de topic gelezen is. Deze laatste optie zorgt met name voor veel uit te voeren queries vooral omdat elke querie dus usergebonden moet worden uitgevoerd en er niet al teveel kan worden gecached. Sql server heeft dan ook meer aan cpu power dan intern geheugen heb ik gemerkt.

Ik dacht aan een rackserver 3214 met 2 woodcrests.

[lier]

RobbyNitroz schreef op woensdag 25 oktober 2006 @ 14:30:
<nitroz is blij met de snelle reacties :)>
Sql server heeft dan ook meer aan cpu power dan intern geheugen heb ik gemerkt.

Ehm...misschien zie je dat in je huidige situatie zo, maar ik zou "in het algemeen" er maar vanuit gaan dat disk IO en intern geheugen niet echt minder belangrijk zijn.

Kan je eens een profiler aan de SQL server koppelen en daar wat uitkomsten van laten weten ?
Daarnaast, kan je ook eens een performance log bekijken om te zien of de processor de (enige) bottleneck is ?
Hoe ziet je huidige RAID set (channels) eruit (OS, Data, Log, enz) ?

[ Voor 4% gewijzigd door lier op 25-10-2006 15:00 ]

[McMiGHtY]

Welke versie van MS SQL Server draai je? SQL 2005 is een stuk sneller dan 2000 (heb ik begrepen) en samen met het optimaliseren van je sql commando's en het eventueel gedeeltelijk cachen van je site kun je een heel eind komen.

[wboevink]

Optie 3 is niet zo moeilijk, een clustertje is zo opgezet.
Alleen wel duur want je hebt 2 x windows 2003 enterprise licenties nodig niet te vergeten de extra licentie voor SQL.

Maareh, wat voor site draai je? Extra geheugen erin wil ook nog wel eens een boel helpen.

[RobbyNitroz]

SQL server 2000 draaien we.

idd sowieso extra win2k3 nodig a 699 (webversie draait geen sql server )

in huidige machine zit 2Gb geheugen en eigenlijk nooit meer dan 1.2 Gb in gebruik; het zit hem toch echt in cpu power. Cachen kan maar op kleine schaal (zie rede hiervoor 1 reactie van mij eerder).

Met profiler wel wat indexen aangemaakt maar das weer even geleden dus zou ik nog een keer opnieuw kunnen doen natuurlijk.

[MensionXL]

RobbyNitroz schreef op woensdag 25 oktober 2006 @ 16:24:
in huidige machine zit 2Ghz geheugen en eigenlijk nooit meer dan 1.2 ghz in gebruik;

Je bedoelt 2GB en 1.2GB?

[ Voor 19% gewijzigd door MensionXL op 25-10-2006 17:22 ]

[RobbyNitroz]

Je bedoelt 2GB en 1.2GB?

hum hum....ohja zo was het

[ Voor 32% gewijzigd door RobbyNitroz op 25-10-2006 16:57 ]

[axis]

Je weet dat je webhosting naar anonieme gebruikers alleen met een SPLA licentie mag doen? Zoek maar even op webhostingtalk.nl / .com voor details.. Valt mee, Windows Server 2003 std is iets van 20 euro per maand per CPU, maar SQL Server Std is 200 euro per CPU.. Tjakka..

Met simpele Windows Server 2003 kun je al aan NLB doen, om meerdere (goedkope) webservers te loadbalancen mocht je dat in de toekomst willen.

[Viper®]

RobbyNitroz schreef op woensdag 25 oktober 2006 @ 16:24:
SQL server 2000 draaien we.

idd sowieso extra win2k3 nodig a 699 (webversie draait geen sql server )

in huidige machine zit 2Gb geheugen en eigenlijk nooit meer dan 1.2 Gb in gebruik; het zit hem toch echt in cpu power. Cachen kan maar op kleine schaal (zie rede hiervoor 1 reactie van mij eerder).

Met profiler wel wat indexen aangemaakt maar das weer even geleden dus zou ik nog een keer opnieuw kunnen doen natuurlijk.

In dat geval kun je beter je hele zaak optimaliseren.

Een slecht gebouwde website + back end kan op 5 xeon processoren nog slecht draaien als de opzet van het geheel gewoon ruk is (zie FoK )

Je probeert nu eigenlijk een probleem op te lossen, beter is de oorzaak van het geheel op te zoeken.

Geheugen is klaarblijkelijk niet het issue, aangezien je niet ruim boven de 1,2 gb uit komt. Ga eens kijken naar disk I/O. Wordt er veel gebruik van gemaakt en hoe houdt dat samen met je cpu load.

Kijk verder ook naar de SQL server. Via sql tuning wizard kun je indexes aanmaken op tabellen. Je kan voor een dag een monitor laten meedraaien die je 'gangbare' verkeer van die dag meet. Op basis van die gegevens kiest hij dan de beste/snelste indexes voor zoeken etc.

Sowieso is het handig om te kijken of je queries goed zijn en niet teveel informatie teruggeven. Een hele tabel ophalen middels een inner join is leuk, maar als je vervolgens maar 1 prijsje weergeeft is het nutteloos aangezien een inner join weer veel cpu kracht vereist.

Caching, je kan op je website (asp.net) caching aanzetten voor de applicatie of per gebruiker.

Je zou losse queries kunnen herschrijven als views/store procedures.

Het plaatsen van een extra systeem + alle eventuele problemen en licentie kosten is eigenlijk het laatste waar je aan wilt beginnen.

[wboevink]

RobbyNitroz schreef op woensdag 25 oktober 2006 @ 16:24:
idd sowieso extra win2k3 nodig a 699 (webversie draait geen sql server )

Yep en de standaard doet geen clustering dus heb je de enterprise versie nodig die nog weer een stuk duurder is.

Maar ik heb het idee dat het niet in de hardware zit.
Tenzij je een veelbezochte site hebt natuurlijk, kun je niet iets meer info vrij geven?

[RobbyNitroz]

Viper® schreef op woensdag 25 oktober 2006 @ 17:29:
[...]


In dat geval kun je beter je hele zaak optimaliseren.

Een slecht gebouwde website + back end kan op 5 xeon processoren nog slecht draaien als de opzet van het geheel gewoon ruk is (zie FoK )

Ho Ho....je gaat wel heel snel met "in dat geval"
ik zeg in het kort dat de code idd altijd nog optimaler kan maar niet dat het op dit moment 'ruk' is. Paar extra feiten:

- de webserver serveert op dit moment 150.000 paginas per dag met een behoorlijke piek in de avonduren, tis dus niet dattie nix doet.
- we hebben indexes aangebracht na een serie sql server profiler runs van elk 5 min.
- we halen alleen de benodigde cellen op en niet gehele tabellen
- we gebruiken louter alleen SP's en geen queries in de asp code
- caching gaat bijna niet op (daarom zijn we cpu intensitive) omdat voor elke user voor alles wordt bijgehouden wanneer er iets voor het laatste veranderd is in news,forum,gallery

"Ga eens kijken naar disk I/O" ga ik nu meteen naar kijken! nog niet gedaan tot nu toe

[Verwijderd]

RobbyNitroz schreef op woensdag 25 oktober 2006 @ 20:35:
[...]


Ho Ho....je gaat wel heel snel met "in dat geval"

Dat wou ik ook zeggen

- we gebruiken louter alleen SP's en geen queries in de asp code

Wat zijn SP's Robby?

- caching gaat bijna niet op (daarom zijn we cpu intensitive) omdat voor elke user voor alles wordt bijgehouden wanneer er iets voor het laatste veranderd is in news,forum,gallery

"Ga eens kijken naar disk I/O" ga ik nu meteen naar kijken! nog niet gedaan tot nu toe

Mijn inschatting is dat die ongeveer 0 zal zijn, aangezien er nog zeker 0.5 Gb geheugen vrij is. SQL server zal al zijn tabellen wel in het geheugen hebben staan, en dus alleen wijzigingen naar disk schrijven, maar nooit lezen. Tenminste zo zou ik het verwachten.

[wboevink]

Als ik dat zo lees dan lijkt me een pleur extra geheugen de moeite waard, kost bijna niets en levert je zeker performance op.

Het is zeker geen .net maar gewoon asp?

[ Voor 14% gewijzigd door wboevink op 25-10-2006 20:52 ]

[Verwijderd]

wboevink schreef op woensdag 25 oktober 2006 @ 20:51:
Als ik dat zo lees dan lijkt me een pleur extra geheugen de moeite waard, kost bijna niets en levert je zeker performance op.

Het is zeker geen .net maar gewoon asp?

Maar er is constant 800MB aan geheugen vrij, waarom zou nog meer geheugen de boel dan versnellen?

[RobbyNitroz]

yep gewone asp code

er ligt een stapel asp.net boeken maar zijn nog niet voldoende doorgeworsteld om door te stappen

SPs = Stored Procedures

[ Voor 9% gewijzigd door RobbyNitroz op 25-10-2006 21:39 ]

[wboevink]

Wij hebben 2 machines geclustered in een failover configuratie machine1 is webserver machine2 is sql mocht er 1 uitvallen dan neemt de ander automatisch de taak over, grote voordeel is dat je geen extra sql licentie nodig hebt in een failover cluster.

[RobbyNitroz]

Heb meteen gegoogled maar kan niet veel vinden over failover clusters...

Klinkt goed maar als de een de ander kan vervangen zullen ze toch beiden SLQ server moeten draaien zou je denken

[Viper®]

RobbyNitroz schreef op donderdag 26 oktober 2006 @ 09:37:
Heb meteen gegoogled maar kan niet veel vinden over failover clusters...

Klinkt goed maar als de een de ander kan vervangen zullen ze toch beiden SLQ server moeten draaien zou je denken

alsje: http://www.microsoft.com/...00/maintain/failclus.mspx

[-krekel-]

maar als de CPU load het probleem is, is het dan niet een optie om naar 2 x dual core cpu's over te stappen? In theorie heb je dan in een keer 2 x zoveel rekenkracht....

[Viper®]

-krekel- schreef op donderdag 26 oktober 2006 @ 11:01:
maar als de CPU load het probleem is, is het dan niet een optie om naar 2 x dual core cpu's over te stappen? In theorie heb je dan in een keer 2 x zoveel rekenkracht....

Leuk, maar het zou best kunnen dat net na de cpu iets anders de bottleneck blijkt.

voorbeeld:

2 ghz P4 processor, cpu load extreem, cpu de bottleneck

deze vervangen door een 3,6 ghz p4 kan

maar met een 2,6 ghz p4 zou het kunnen zijn dat het geheugen weer de bottleneck blijft.


in dat geval zou ik toch eerst goed onderzoeken waar het aan ligt en wat voor andere hardware er binnen de 'gevaren zone' zit.
eventueel wat spelen met geheugen, haal er eens 512/1gb uit om te kijken of dat uitmaakt.

[djluc]

Met dit soort performances is het een redelijk grote site neem ik aan? Is het dan sowieso betrouwbaarheid geen punt wat in je investering nu meegenomen moet worden als belangrijk argument voor je keuze? Denk bijvoorbeeld aan: Wat als de enige server down gaat, wat zijn de kosten van die downtime enzovoorts.

[ArjanC]

als de site 150k per dag doet zou ik zowiezo eens gaan denken aan de kosten als de site eruit ligt.

een clusterd server + 1 backend lijkt mij de beste oplossing, Windows 2003 Web SPLA is +/- 10 euro en de standaard =/- 15 euro per maand.

Wat kost het als je er een dag (of 2) uit ligt ivm overbelasting? of dat de server connecties gaat droppen?

-- edit : i'm with djluc

[ Voor 4% gewijzigd door ArjanC op 26-10-2006 11:13 ]

[RobbyNitroz]

Ik ben aan de gang gegaan met Server Performance Advisor een standaard tooltje van MS om Windows 2003 servers te onderzoeken op hun inzet. Een kleine summary komt met het volgende uit een serie van 100 seconden tests:

CPU 87 %
Busy 87 indicates busy CPU load. Investigate Top Processes

Network 3 %
Idle Busiest network adapter is less than 15%. Nic 'Intel[R] PRO_100 S Server Adapter' using 2,590,560 bits and has 100,000,000 bits capacity

Memory 76 %
Busy Available MBytes 489.

Top Process Group CPU%
w3wp.exe 50 %

Top File by IO Rate IO/sec
D:\SQLData\HL_v3_Log.LDF = 7

Een warning komt ervoor uit de door SPA onderkende hoge CPU load, weet niet of dit standaard is bij een hoge cpu load op een dual cpu machine, in de taskmgr lijken beide cpus ongeveer even veel te doen --->

Investigate why 30 items are queued across the 2 CPU(s). Check for unbalanced use of a single CPU, such as network adapters that all use the same CPU. Consider if CPU(s) are underpowered for the workload.

[Verwijderd]

RobbyNitroz schreef op woensdag 25 oktober 2006 @ 16:24:
SQL server 2000 draaien we.

idd sowieso extra win2k3 nodig a 699 (webversie draait geen sql server )

waar doe je moeilijk over. De sql licentie die je zou moeten hebben kost 5000 euro per processor.


Als je workerprocess (w3wp) zoveel processor tijd in beslag neemt, zal je inderdaad eens een stuk beter naar je website code moeten gaan kijken. Stored procedures gaan gebruiken ipv van de queries en verwerking aan de website kant af te handelen kan al een stuk schelen.

[rdoorn]

Mijn Advies (zonder enige echte kennis in webhosten)

Laat de SQL server op de huidige server (licentie technisch)
en zet er 1 of 2 win2003 servers (standaard of web) voor met iis.
Kost het minste qua licenties en bied de meeste mogelijkheden qua uitbreiding en beveiliging in de toekomst doordat je SQL en IIS gescheiden hebt.

Oh ja,
Is er niet een andere manier om bij te houden of forums etc al gelezen zijn? Het lijkt me iets dat je juist aan de client kant moet doen, lekker schaalbaar.
Hoe werkt dat bij tweakers.net?

[ Voor 23% gewijzigd door rdoorn op 26-10-2006 14:45 ]

[RobbyNitroz]

Verwijderd schreef op donderdag 26 oktober 2006 @ 14:11:
[...]waar doe je moeilijk over. De sql licentie die je zou moeten hebben kost 5000 euro per processor..

die licentie heb ik al op de huidige webserver dus hoef ik niet opnieuw aan te schaffen, op de tweede machine die erbij komt heb ik wel opnieuw win2k3 nodig.

Als je workerprocess (w3wp) zoveel processor tijd in beslag neemt, zal je inderdaad eens een stuk beter naar je website code moeten gaan kijken. Stored procedures gaan gebruiken ipv van de queries en verwerking aan de website kant af te handelen kan al een stuk schelen.

[/quote]

We gebruiken louter en alleen SP's!


Tweakers.net laat alleen eenmalig zien wat de nieuwe topics zijn sinds de laatste keer dat je op tweakers.net ingelogd bent geweest.

Wij laten zien wat er veranderd in elke topic tov van de laatste keer dat je de topic gelezen hebt. (bij tweakers onmogelijk omdat er op elke topic +100 reacties heeft)

[RobbyNitroz]

rdoorn schreef op donderdag 26 oktober 2006 @ 14:43:
Mijn Advies (zonder enige echte kennis in webhosten)

Laat de SQL server op de huidige server (licentie technisch)
en zet er 1 of 2 win2003 servers (standaard of web) voor met iis.
Kost het minste qua licenties en bied de meeste mogelijkheden qua uitbreiding en beveiliging in de toekomst doordat je SQL en IIS gescheiden hebt.

Ik denk dat ik het zo ga doen idd. 1 IIS machine erbij en de ander SQL server. Enige waar ik nog over aan het lezen ben is de oplossing met 2 IIS machines en 1 virtual SQL -server installatie:



thanx viper voor de link -->
http://www.microsoft.com/...00/maintain/failclus.mspx

[axis]

Verwijderd schreef op donderdag 26 oktober 2006 @ 14:11:
[...]
waar doe je moeilijk over. De sql licentie die je zou moeten hebben kost 5000 euro per processor.

Retail licentie mag je niet gebruiken voor anonieme webhosting (dus zonder CALs), moet je SPLA hebben.. SQL Standard is iets van 180 euro per maand per CPU.. 2* dual dozen is 720 euro per maand.. wat jij wilt..

Ik zou toch echt voor 1 dikke SQL server gaan en meerdere webservers.. Maar als je toch niet met de portemonnee van de baas hoeft mee te denken, zou ik ook dikke SQL servers kopen, en met cluster services en shared storage gaan prutsen..

[RobbyNitroz]

Even terug naar wat ik heb draaien.

Ik draai nu 1 dual opteron win2k3 machine waar IIS de webaanvragen afhandelt en waarop SQLserver 2000 de dbaanvragen afhandelt.

In mijn ogen zijn er 2 opties over:

1
Ik koop er een nieuwe dual woodcrest machine bij onder win2k3 en laat die voortaan de IIS aanvragen afhandelen. De huidige dual opteron komt achter de dual woodcrest te staan met een
gigabit lijntje saampjes in een locaal netwerkje.

2
Ik koop er een nieuwe dual woodcrest machine bij onder win2k3 en laat die samen met de dual opteron de IIS aanvragen afhandelen en draai een virtuele SQL server installation op beide machines zoals in het plaatje hierboven. Ik moet het nog even onderzoeken maar volgens mij heb je daar 1 licentie voor nodig.

[Viper®]

zet tracing aan op je websites

je kan dan precies zien hoelang elke actie duurt vanuit de IIS kant gezien

voorbeeld: http://aspnet.4guysfromrolla.com/demos/TracingDemo.aspx

info: http://www.4guysfromrolla.com/webtech/081501-1.shtml

[ Voor 37% gewijzigd door Viper® op 26-10-2006 16:39 ]

[relaxteb]

virtuele sql server, daarmee bedoel je dus sql clustering ?
dan heb je een shared disk apparaat nodig...SAN of ISCSI.. das duur

Heb je al naar je Avg. Disk queue length gekeken ?

Kan zijn dat je schijven/controller het niet bij kunnen houden.

[RobbyNitroz]

schijven kunnen het wel bijhouden. De schijfactiviteiten zijn rond de 8MB/s in de avonduren (drukste uren). Ik gebruik 2 sata schijven in mirror

Aj zover was ik nog niet op vipers pagina (ik moet ook gewoon nog werken aan andere stuff hier ) , ik ging er een beetje vanuit dat je een virtuele sql server op beide machines draaiden en niet op externe gesharede opslag

[_js_]

Je hebt niet beslist een gedeelde opslag nodig voor een cluster van sql, je kunt ook de interne replicatie mogelijkheid gebruiken, maar bedenk wel dat replicatie tijd en processorkracht kost, en niet inmiddelijk is.

Maar als jij maar 1 schijven set hebt, en daar en je web bestanden en weblogs en database en database logs op staan, dan kan het best zijn dat die 80-90% processor gebruik van je komt door het wachten op de harde schijf. Het zou verstandig kunnen zijn meer schijven sets in je server te stoppen en de taken te verdelen.

[Lurge]

Ik denk dat je voor de opties die je aangeeft zelf moet bekijken of je het ervoor over hebt (financieel gezien) of je voor een fail safe methode gaat.
Heb je al gekeken naar de clustering services die in windows 2003 zitten? Kan je daar al niet een hoop mee doen? Hier is nog een link waar het gaat over clustering van Windows 2003 en SQL server. http://www.microsoft.com/...dows2003srv/tnt1-150.mspx

PS. ik heb ook met je gemaild hierover (dan weet je wie ik ben)

[RobbyNitroz]

hai lurge

mja het is niet alleen een financiele kwestie om voor failsafe te gaan. Ik maak me meer zorgen om de benodigde kennis om het op te zetten en nog meer om het vervolgens met beleid onder controle te houden. Niet dat fail safe in de praktijk minder safe blijkt door een stuk missende kennis.

Een sql server achter de huidige server zetten en de link naar de db in de code wijzigen naar de server ernaast is een technisch veel kleinere stap.

[wboevink]

RobbyNitroz schreef op donderdag 26 oktober 2006 @ 09:37:
Klinkt goed maar als de een de ander kan vervangen zullen ze toch beiden SLQ server moeten draaien zou je denken

Ze draaien ook beide SQL (maar je hebt maar 1 licentie nodig)

[_Arthur]

RobbyNitroz schreef op donderdag 26 oktober 2006 @ 17:02:
schijven kunnen het wel bijhouden. De schijfactiviteiten zijn rond de 8MB/s in de avonduren (drukste uren). Ik gebruik 2 sata schijven in mirror

Aj zover was ik nog niet op vipers pagina (ik moet ook gewoon nog werken aan andere stuff hier ) , ik ging er een beetje vanuit dat je een virtuele sql server op beide machines draaiden en niet op externe gesharede opslag

Ik gok dat je probleem JUIST in je disk config zit omdat je 2 sata diskjes in een raid1 draait. Bij databases gaat het niet om hoeveel mb/sec er doorheen gaat maar de i/o requests. En puur omdat je alleen maar sata disks gebruikt gok ik dat je webserver/database server gewoon staan te wachten en cpu-cycles verstoken voordat ze de data weer hebben en iets kunnen doen.

En zoals al hierboven vermeld is: ga eens naar je diskqueues kijken. Hoe je dat doet kan je hier lezen: http://www.windowsnetwork..._Performance_Monitor.html

[ Voor 9% gewijzigd door _Arthur op 27-10-2006 19:11 ]

[P_de_B]

wboevink schreef op woensdag 25 oktober 2006 @ 16:06:
Optie 3 is niet zo moeilijk, een clustertje is zo opgezet.
Alleen wel duur want je hebt 2 x windows 2003 enterprise licenties nodig niet te vergeten de extra licentie voor SQL.

.

Tuurlijk, en replicatie "even" inrichten voor SQL Server, en SQL Server Enterprise editie (a 20.000 euro) omdat de standard editie geen replicatie ondersteunt

De beste optie is denk ik zoals al meer gezegd is een aparte server voor SQL Server met veel geheugen. Het liefst meer geheugen dan dat de database groot is.

[CyBeR]

Ik weet niet of je dingen doet die erg afhankelijk zijn van MSSQL, maar mischien is 't iig een onderzoekje waard of overschakelen naar een andere RDMBS niet goedkoper is? Denk aan PostgreSQL e.d. 't Zal wat tijd (en dus geld) kosten om te implementeren maar als je de licentiebedragen ziet voor MSSQL...

[Verwijderd]

_Arthur schreef op vrijdag 27 oktober 2006 @ 15:46:
[...]

Ik gok dat je probleem JUIST in je disk config zit omdat je 2 sata diskjes in een raid1 draait. Bij databases gaat het niet om hoeveel mb/sec er doorheen gaat maar de i/o requests. En puur omdat je alleen maar sata disks gebruikt gok ik dat je webserver/database server gewoon staan te wachten en cpu-cycles verstoken voordat ze de data weer hebben en iets kunnen doen.

Maar de grootte van het actieve deel van de database is klein in verhouding tot het interne geheugen. Alle data zou het grootste deel van de tijd in de geheugen-cache moeten zitten. Dat er vervolgens asynchroon data naar disk geschreven moet worden is niet zo'n probleem lijkt mij. RAID 1 is op zich natuurlijk wel weer trager als een single disk.

[RobbyNitroz]

Ik wil sowieso SQL server blijven gebruiken omdat we op de andere servers op werk ook SQL server draaien. Wel zo makkelijk

Ik heb nu 5 testjes met Server Performance Advisor (gratis tooltje van MS; erg nuttig!) gedaan:

Kreeg 1x de melding bij 115 IO/sec van de iis_trace.etl dat het draaien van zowel trace files als storage op dezelfde server werd afgeraden. Wordt gedeeltelijk opgelost bij overschakeling naar tweede server. Maar dan toch ook nog schijf bijplaatsen voor de IIS tracefiles op de IIS machine?!

Geheugen gebruik in Server Performance Advisor is ook hoger dan de server in de taskmgr aangeeft! (82% in gebruik van de 2Gb).

Wat me ook opvalt is dat 1 van de 2 CPUs altijd net wat zwaarder wordt belast als de ander. Zou het slim zijn om de lichter belaste cpu aan te wijzen voor SQL Server om deze beter te benutten?!

[arnob]

RobbyNitroz schreef op zaterdag 28 oktober 2006 @ 16:36:
Wat me ook opvalt is dat 1 van de 2 CPUs altijd net wat zwaarder wordt belast als de ander. Zou het slim zijn om de lichter belaste cpu aan te wijzen voor SQL Server om deze beter te benutten?!

niet doen. de kernel beslist 'continu' wat handig is. Het is zeldzaam dat je dat zelf statisch zet en betere performance krijgt. Zowiezo is dat dan bij 4 cpu's.
De kernel heeft voorkeur met sommigen processen en processoren. Dat geeft niet, het is niet zo dat je echt verlies hebt daardoor.

[wboevink]

P_de_B schreef op vrijdag 27 oktober 2006 @ 15:52:
[...]

Tuurlijk, en replicatie "even" inrichten voor SQL Server, en SQL Server Enterprise editie (a 20.000 euro) omdat de standard editie geen replicatie ondersteunt

Standard ondersteund wel replicatie, niet dat je dat nodig hebt in een failover situatie.

[RobbyNitroz]

Rackserver Performance 3214
2 x Intel Xeon Woodcrest dual core 2.00Ghz 1333 4MB cache VT (65W)
2 x 1024MB qualified DDR 667Mhz FBD Registered ECC intern geheugen
2 x 74 Gb SATA (10.000 toeren) harddisk (WD Raptor) in Raid 0
2 x 300Gb SATA (7.299 toeren) harddisk geen Raid
Slimline CD-ROM en slimline floppy-drive
Microsoft Windows 2003 Server 1-4 CPU 64Bit + 5 Clients UK

Besteld....!

[_Arthur]

RobbyNitroz schreef op maandag 30 oktober 2006 @ 19:47:
Rackserver Performance 3214
2 x Intel Xeon Woodcrest dual core 2.00Ghz 1333 4MB cache VT (65W)
2 x 1024MB qualified DDR 667Mhz FBD Registered ECC intern geheugen
2 x 74 Gb SATA (10.000 toeren) harddisk (WD Raptor) in Raid 0
2 x 300Gb SATA (7.299 toeren) harddisk geen Raid
Slimline CD-ROM en slimline floppy-drive
Microsoft Windows 2003 Server 1-4 CPU 64Bit + 5 Clients UK

Besteld....!

Jep prima, gewoon wat lekkere hardware er tegenaan gooien.

Zeker omdat je volgens mij nog steeds niet weet waar nu de bottleneck zit/zat.

Ach, die kom je straks vanzelf wel weer tegen

[P_de_B]

wboevink schreef op maandag 30 oktober 2006 @ 10:32:
[...]


Standard ondersteund wel replicatie, niet dat je dat nodig hebt in een failover situatie.

Hmm, ik dacht alleen de enterprise versie. Maar fail-over is niet wat TS wil. De performance moet omhoog, niet de betrouwbaarheid.

[Asteroid9]

_Arthur schreef op maandag 30 oktober 2006 @ 19:50:
[...]

Jep prima, gewoon wat lekkere hardware er tegenaan gooien.

Zeker omdat je volgens mij nog steeds niet weet waar nu de bottleneck zit/zat.

Ach, die kom je straks vanzelf wel weer tegen

Helemaal mee eens!

En een Raptor SATA disk in een rackmount server?
Zou mijn keuze niet zijn, met serieuze CPU's als deze denk ik eerder aan 15K SCSI
Om dan over de 300GB schijven maar niet te spreken.

Redelijk onderbemeten schijven in zo'n apparaat, als je al niet eens weet wat nou eigenlijk de bottleneck is lijkt dit me niet echt slim...

[djluc]

Die stripe raid/niet raid opstelling, zou je eens kunnen vertellen wat daar het nut van is?

[Rolfie]

2 x 74 Gb SATA (10.000 toeren) harddisk (WD Raptor) in Raid 0

RAID0

Waarom RAID0, als het mis gaat dan gaat het ook meteen goed mis.

[RobbyNitroz]

Ik krijg in alle tests met Server Performance Advisor (standaard win2003 tool om je server te stresstesten) een remark op cpu gebruik.

-IO schrijfacties liggen onder de 100/s (1x hoger gehad in 10 tests omdat er eent trace van iis meeliep)
-memory gebruik ligt rond de 70%

w3wp.exe en sqlserver.exe zijn de enige twee die cpu slokken.

rond de 73% van de website komt uit de cache van IIS (nog even gedacht dat daar een probleem zat maar dat lijkt mee te vallen).

Ik heb de server gisteren besteld; Ik kan nu nog makkelijk switchen naar RAID 1 voor de 2 raptors.
Ik heb al zolang geen scsi schijven meer besteld eigenlijk....ben beetje verbaast dat jullie die zo ondermaats vinden <nitroz wil graag nog wat extra aanbevelingen en zit met zijn phone in de hand om rackserver te bellen en bij te sturen >

[djluc]

Heb je wel goed advies ingewonnen betreffende deze keuzes?

[RobbyNitroz]

eigenlijk op alles behalve de schijven

[Voutloos]

Viper® schreef op donderdag 26 oktober 2006 @ 11:06:
eventueel wat spelen met geheugen, haal er eens 512/1gb uit om te kijken of dat uitmaakt.

Voor de lol geheugen dat je toch al hebt en net zo goed kan laten zitten uit een productieserver halen? Sorry, maar dat is echt een hele foute manier van testen.

[MikeyMan]

Voutloos schreef op dinsdag 31 oktober 2006 @ 10:31:
[...]
Voor de lol geheugen dat je toch al hebt en net zo goed kan laten zitten uit een productieserver halen? Sorry, maar dat is echt een hele foute manier van testen.

Vind het niet zo'n gek idee... Is een simpele manier om te testen of de performance eronder lijdt...

Maar ook mijn advies; probeer eerst de oorzaak te vinden voordat er dure hardware tegenaan gegooid wordt...

[RobbyNitroz]

hum....de oorzaak is voor mij echt bekend hoor

gewoon 150.000 paginas laden per dag en de hele server vind dat wel ok...alleen de cpus hebben het er zwaar mee om sqlserver en w3wp te bedienen

Ik ga zeker mijn resultaten nog posten hier om te kijken of mijn bevindingen (zeker door jullie pushen op de oorzaken weet ik nu een stuk meer over de load van mijn server!) goed waren.


als iemand nog HD advies heeft!...graag
Ik denk er nu over om de 2x 74Gb 10.000 schijven in Raid 1 te zetten ipv 0. Daar draai ik dan win2k3 en sql server op
de 2x 300gb zijn puur om de iis server te backuppen en de sql server db.

[Rolfie]

als iemand nog HD advies heeft!...graag

aparte schijven voor je SQL logging (snelste die je hebt), aparte schijven voor je SQL Database

[MikeyMan]

RobbyNitroz schreef op dinsdag 31 oktober 2006 @ 11:50:
hum....de oorzaak is voor mij echt bekend hoor

gewoon 150.000 paginas laden per dag en de hele server vind dat wel ok...alleen de cpus hebben het er zwaar mee om sqlserver en w3wp te bedienen

Ik ga zeker mijn resultaten nog posten hier om te kijken of mijn bevindingen (zeker door jullie pushen op de oorzaken weet ik nu een stuk meer over de load van mijn server!) goed waren.


als iemand nog HD advies heeft!...graag
Ik denk er nu over om de 2x 74Gb 10.000 schijven in Raid 1 te zetten ipv 0. Daar draai ik dan win2k3 en sql server op
de 2x 300gb zijn puur om de iis server te backuppen en de sql server db.

Ja, tenzij die cpuload wordt veroorzaakt door slecht presterende opslag...

[RobbyNitroz]

Rolfie schreef op dinsdag 31 oktober 2006 @ 11:52:
[...]

aparte schijven voor je SQL logging (snelste die je hebt), aparte schijven voor je SQL Database

de 2 74Gb schijven draaien in Raid 1, dan de 74 gig opdelen in 3 partities; 1x win2k3, 1x sql server db, 1x logfiles? Of kom ik niet weg met partities en kan ik beter 3x 74Gb erin laten zetten en 1x sql server, 1x win2k3, 1x logfiles ?

@ mikey; in mijn metingen in server console kom ik nooit boven de 8mb/s schijf activiteit, in de server advisor kom ik nooit boven de 100 IO/sec en dus niet buiten elke gevarenzone.

[Voutloos]

MikeyMan schreef op dinsdag 31 oktober 2006 @ 11:34:
[...]
Vind het niet zo'n gek idee... Is een simpele manier om te testen of de performance eronder lijdt...

Leuk zo'n simpele test, maar je moet wel naar de colo (aanname ) en nog belangrijker: je productieserver down halen.

[RobbyNitroz]

daar moet ik idd voor naar de colo en ik heb al zo weinig tijd.

Ik dacht eerst aan 1x 3Ghz cpu erin te zetten en dan later een 3Ghz bijplaatsen op de lege socket. 1x3Ghz is net zo duur als 2x 2.0 ghz. Heb toch voor 2x 2Ghz gekozen met als hoofdreden de extra trip naar colo

en naar colo rijden...geheugen eruit halen...daar hele avond blijven zitten en de website tracen....dan weer geheugen erin zetten en thuis de traces checken? Dan ga ik er liever heen en plaats er 2Gb bij en kijk thuis of het effect heeft

maar mun schijven probleem is op dit moment nijpender aangezien ze de server al aan het assembleren zijn en ik nu nog kan bijsturen.....dus nog tips opp schijven gebied....graag!!

[MikeyMan]

Voutloos schreef op dinsdag 31 oktober 2006 @ 12:10:
[...]
Leuk zo'n simpele test, maar je moet wel naar de colo (aanname )

Got a point there...

en nog belangrijker: je productieserver down halen.

Voor die enkele minuten...

[wboevink]

P_de_B schreef op maandag 30 oktober 2006 @ 19:52:
[...]

Hmm, ik dacht alleen de enterprise versie. Maar fail-over is niet wat TS wil. De performance moet omhoog, niet de betrouwbaarheid.

Dan snap ik je opmerking over replicatie niet helemaal

[Verwijderd]

RobbyNitroz schreef op dinsdag 31 oktober 2006 @ 12:07:
[...]


de 2 74Gb schijven draaien in Raid 1, dan de 74 gig opdelen in 3 partities; 1x win2k3, 1x sql server db, 1x logfiles? Of kom ik niet weg met partities en kan ik beter 3x 74Gb erin laten zetten en 1x sql server, 1x win2k3, 1x logfiles ?

aparte schijven, niet partities.
dus 1 raidset voor os etc. 1 raidset voor database en 1 raidset voor je logs.

[analog_]

Voutloos schreef op dinsdag 31 oktober 2006 @ 12:10:
[...]
Leuk zo'n simpele test, maar je moet wel naar de colo (aanname ) en nog belangrijker: je productieserver down halen.

Kan je niet een of ander programma opstarten wat geheugen opslikt en niet vrijgeeft ? Niet kosher maar lijkt mij wel redelijk in de buurt te komen.

[RobbyNitroz]

er kunnen maar 4 schijven in....1U hoog

[djluc]

Als je enig idee hebt hoe hoog 1U is blijkt dat toch niet zo heel gek? Waarom denk je dat ze bij t.net altijd met van die enorme bakken in de colo werken?

offtopic:
Behalve dan dat ze wat sponsoring ontvangen voor de hosting

[RobbyNitroz]

I know Djluck....de 1Us liggen her en der om me heen

ik reageer op het schijvenvoorstel: aparte schijven, niet partities.
dus 1 raidset voor os etc. 1 raidset voor database en 1 raidset voor je logs.

dat zijn 6 schijven en dat past niet

[ Voor 6% gewijzigd door RobbyNitroz op 31-10-2006 15:43 ]

[djluc]

Misschien is een 1u server als database server dan niet zo'n goed plan in verband met uitbreidbaarheid?

Ik heb het idee dat je redelijk lukraak wat aanschaft en hoopt dat het nut heeft, gaat werken en ook nog een gaat performen.

[RobbyNitroz]

ik betaal per U bij heh in de colo. 4 schijven in een database machine zouden toch genoeg moeten zijn...damn

lukraak is het zeker niet maar ik geef toe dat ik niet de man ben om er extreem lange onderzoeken naar te verrichten. Ik verwacht dat een cpu load van 35% op beide machines en klaar voor 300.000 paginas per dag

niettemin omdat mijn series server performance advisor testjes 1 asp pagina heeft gevonden die zo 12% cpu opslokt en met een aanpassing tot zo goed als niks wordt teruggebracht

[Verwijderd]

djluc schreef op dinsdag 31 oktober 2006 @ 16:17:
Misschien is een 1u server als database server dan niet zo'n goed plan in verband met uitbreidbaarheid?

Ik heb het idee dat je redelijk lukraak wat aanschaft en hoopt dat het nut heeft, gaat werken en ook nog een gaat performen.

idd, aan de andere kant voor een db van 2 gb ga je ook niet superveel uit de kast halen.
met 4 schijven zou ik een raid-1 maken met 2 partitie's. 1 voor os 1 voor logs. en een raid 1 voor de database.

verder blijf ik erbij dat je veel kan winnen door goed naar je webcode te kijken.

Ik ben bijv.tegengekomen dat de opmaak van een pagina in de database werd opgeslagen. Leuk als er 5 pagehits per uur zijn, maar niet als je 500hits per minuut hebt en er steeds dezelfde query uitgevoerd wordt op de database. Uiteindelijk is die site netjes omgezet naar stylesheets en het probleem was over.

[Lurge]

Je kan ook RAID 5 nemen (als dat ondersteund word) dan heb je en snelheid en failsafe. 3 disks heb je dan minimaal nodig.

[axis]

Lurge schreef op donderdag 02 november 2006 @ 08:03:
Je kan ook RAID 5 nemen (als dat ondersteund word) dan heb je en snelheid en failsafe. 3 disks heb je dan minimaal nodig.

Dit gaat volgens mij een klein beetje off-topic, we zitten hier wel in PNS he.. Ligt eraan waar je die RAID5 set voor gebruikt. Als je een DB hebt met veel writes, is RAID1 of RAID10 een veel betere keus, RAID5 is stuk trager.

Heb zelf ook een stuk of 20 servers met RAID5 sets, maar da's omdat het de goedkoopste redundante manier is, en performance niet de nummer 1 prioriteit heeft.

[IRCfreAk]

erm wat draai jij in godsnaam op 1 website dat het zoveel load trekt?
hoeveel pageviews heeft het?
beetje open deur maar linux+apache+mysql zou zowiezo wel stuk sneller zijn imo

[lier]

IRCfreAk schreef op donderdag 02 november 2006 @ 16:26:
erm wat draai jij in godsnaam op 1 website dat het zoveel load trekt?
hoeveel pageviews heeft het?
beetje open deur maar linux+apache+mysql zou zowiezo wel stuk sneller zijn imo

Open deur ? Deze is dan "gesloten"...

offtopic:
Ben brildragend...

[ Voor 5% gewijzigd door lier op 02-11-2006 17:19 ]

[Verwijderd]

IRCfreAk schreef op donderdag 02 november 2006 @ 16:26:
erm wat draai jij in godsnaam op 1 website dat het zoveel load trekt?
hoeveel pageviews heeft het?
beetje open deur maar linux+apache+mysql zou zowiezo wel stuk sneller zijn imo

complete onzin. een crappy geschreven website performed net zo slecht op die configuratie als op een windows bak (mysql is zeker niet sneller dan mssql. met mssql kan je veel meer en daardoor kan je er meer uithalen dan uit mysql. dit betekent echter niet dat mysql slechter is. voor redelijke platte db's zonder ingewikkelde koppelingen performed het prima).

[RobbyNitroz]

Ik heb de config sowieso omgezet naar 2 x Raid 1 (1x 74gb op 10.000rpm en 1 x 300Gb op 7200 rpm).
sp4 van sql server draait op 64bit dus heb voor 64 bit versie win2k3 gekozen. Hebben jullie daar ervaring mee?