Server configuratie

[Vuurvlieg]

Op dit moment hebben we een celeron 1300 met 256MB geheugen en linux, mysql, php, apache draaien voor een webapplicatie die we zelf ontwikkeld hebben. Deze is volledig opnieuw gebouwd (en verbeterd) met ipv mysql nu postgresql. Op dit moment lopen we tegen een aantal problemen aan. Er is een onderdeel van de applicatie die zeer cpu intensief. Dit gaat om een simulatie die op dit moment met 500 objecten en 4000 runs ong 1 minuut en 20 seconden kost (100% cpu). Op dit moment zijn er ong. 15 klanten actief met deze webapplicatie maar we verwachten dat dit binnen afzienbare tijd zal groeien tot 100 klanten.

Nu zijn we dus op zoek naar een goede vervanger van de oude server. Zelf dacht ik aan onderstaande configuratie.

2* 1GB PC2700 DDR ECC Registered CL2.5 AMD (Kingston)
2* AMD Opteron 242 (S940, 1,6GHz, 1MB, Boxed)
1* Chenbro RM117xx (1U, noPSU, Zwart, 4x HotSwap)
1* LSI MegaRAID SATA 150-4 (4x SATA150, 64MB, PCI64/66)
4* Maxtor DiamondMax Plus 9, 120GB (7200rpm, 8MB, SATA)
1* Tyan S2882G3NR Thunder K8S Pro (Vga, 2x G-Lan, Sata)

Ongeveer 2500 EUR (en ja er moet nog een psu bij )

Maar ik zit enigszins te twijfelen tussen deze dual of de snelste single AMD Opteron. Ik heb al een hele lange tijd gezocht naar benchmarks, maar er is vrijwel niks te vinden over opteron met postgresql, laat staan dual opterons. Ik ben dus ook benieuwd hoe effectief een 2e cpu is tov een enkele cpu. Verder is er een beperkt budget, max ong. 3k eur.

Een ander twijfelpunt zijn de harde schijven. Ik twijfel tussen een SATA raid 5 array of een SCSI raid 5.

De database is op dit moment nog niet erg groot maar door het vernieuwde ontwerp van de webapplicatie worden alle historische gegevens bewaard en dit was in de oude versie niet het geval dus we verwachten dat de db snel groter zal worden.

Wat is jullie mening hierover?

[ Voor 71% gewijzigd door Vuurvlieg op 01-10-2004 15:54 . Reden: Ja ff verkeerde knoppie (verstuur ipv bekijk) ]

[Verwijderd]

Hoewel niet specifiek PostgreSQL heb je hier misschien wat aan:
Baan IV op MSSQL2000 op Win2003: Xeon of Opteron?
Goede hardware config voor sql server?

Daarnaast zijn er heel erg veel benchmarks met My- en MSSQL op Opterons, dan zit je in elk geval al een stuk in de richting. De keuze tussen single of dual zal niet echt verschillen tussen MySQL en PostgreSQL, lijkt me.

Wat betreft SCSI of SATA, hoe I/O-intensief is je applicatie? Misschien heb je hier wat aan:
Server advies gevraagd...
Fileserver specs
IDE / IDE-RAID of SCSI voor deze server?

[reddog33hummer]

Dit gaat om een simulatie die op dit moment met 500 objecten en 4000 runs ong 1 minuut en 20 seconden kost (100% cpu). Op dit moment zijn er ong. 15 klanten actief met deze webapplicatie maar we verwachten dat dit binnen afzienbare tijd zal groeien tot 100 klanten.

Ik denk niet dat je met de nieuwe server het aan kan. Mijn ervaring hiermee is dat dit soort zaken meestal niet linear in belasting toenemen maar exponentieel met het aantal gebruikers. Het vergroten van de postgresql hash cache kan helpen maar zal niet veel schaalbaarheid vergroten. De applicatie optimaliseren is van 15 naar 100 geen overbodige luxe.

Je geeft aan dat je historie gegevens wil gaan bijhouden. Reken eens uit hoe snel de database hierdoor gaat groeien. 500 objecten voor 15 gebruikers is 5000 voor 100 gebruikers. Die 15 zijn denk ik developers. Die voeren meestal niet zoveel informatie in. In praktijk zal je meer informatie produceren. Tijdbehoud geeft nog een db na een jaar die 10 keer zo groot is. Dus ik denk dat het veel storage nodig hebt. Als je budged dan maar 3k is wordt het snel sata denk ik.

[FragFrog]

Vuurvlieg schreef op 01 oktober 2004 @ 15:32:
Maar ik zit enigszins te twijfelen tussen deze dual of de snelste single AMD Opteron. Ik heb al een hele lange tijd gezocht naar benchmarks, maar er is vrijwel niks te vinden over opteron met postgresql, laat staan dual opterons. Ik ben dus ook benieuwd hoe effectief een 2e cpu is tov een enkele cpu.

Helaas ook hier geen ervaring met dual CPU icm postgresql, wel een beetje met dual CPU in het algemeen. Als je applicatie 1 1/3 minuut 100% CPU tijd nodig heeft op een cellie 1300 en je verwacht 100 gebruikers zul je ervoor moeten zorgen dat ook bij meerdere simultane runs de wachttijden beperkt zijn. Ik vermoed dat het hiervoor een stuk effectiever is om fysiek 2 CPU's te gebruiken, weet je tenminste zeker dat je gebruikers niet snel op elkaar zitten te wachten

Een ander twijfelpunt zijn de harde schijven. Ik twijfel tussen een SATA raid 5 array of een SCSI raid 5.

Zoals ik je verhaal lees is je applicatie vooral CPU intensief, icm 2 GB werkgeheugen zou ik SATA zeker overwegen. Al is het alleen al hierom:

De database is op dit moment nog niet erg groot maar door het vernieuwde ontwerp van de webapplicatie worden alle historische gegevens bewaard en dit was in de oude versie niet het geval dus we verwachten dat de db snel groter zal worden.

Ik hoef hier niemand te vertellen HOE groot zo'n DB kan worden... Zelf heb ik op een gegeven moment een MSSQL server opnieuw moeten inrichten omdat het beestje ontworpen was voor 10 man, wat uitgroeide tot 2500 en de database als gevolg daarvan na een maandje alle beschikbare HD ruimte nodig had voor een logfile...

Hangt er natuurlijk vanaf hoe 'historische gegevens' wordt geinterpreteerd, maar als je het hier hebt over een ordinair logfile zou ik OF investeren in HD ruimte ipv snelheid wat reddog33hummer ookal aangaf, OF overwegen logfiles automatisch te trimmen en eventueel backuppen

[Duinkonijn]

Je verwacht 100 klanten.. is het dan niet verstandig
om ipv zelfbouw een echte server tenemen HP / IBM etc.

je kan dan ook eventueel een service contract der bij nemen

werk momenteel bij 2 bedrijven
1 heeft HP rack servers de ander zelfbouw.
bij de HP rack servers komt er 1 van hp bij problemen
bij de zelfbouw kan ik de gehele server terug sturen om dat ze niet oplokatie komen


Verders zou ik kwa ervaring zeggen raid 5 scsi.
scsi heeft zich bij mij op de servermarkt bewezen. en sata ide nog niet.

[Verwijderd]

Duinkonijn schreef op 02 oktober 2004 @ 09:56:
Je verwacht 100 klanten.. is het dan niet verstandig
om ipv zelfbouw een echte server tenemen HP / IBM etc.

je kan dan ook eventueel een service contract der bij nemen

werk momenteel bij 2 bedrijven
1 heeft HP rack servers de ander zelfbouw.
bij de HP rack servers komt er 1 van hp bij problemen
bij de zelfbouw kan ik de gehele server terug sturen om dat ze niet oplokatie komen


Verders zou ik kwa ervaring zeggen raid 5 scsi.
scsi heeft zich bij mij op de servermarkt bewezen. en sata ide nog niet.

Met 3000 euro heb je een voor zijn doel probably een underpowered machine IBM e.d. zijn gewoon duur, met name als je dan ook nog eens even wilt gaan uitbreiden met een leuke RAID config, dual CPU, 2GB geheugen én een service contract.

Je hebt zekerheid, maar die heeft een prijs. In dit geval heeft hij denk ik meer aan een flinke machine; een merkbak die voor dat geld wel stabiel is maar de workload niet aankan is ook niet alles imho

[Duinkonijn]

Verwijderd schreef op 02 oktober 2004 @ 17:20:
[...]


Met 3000 euro heb je een voor zijn doel probably een underpowered machine IBM e.d. zijn gewoon duur, met name als je dan ook nog eens even wilt gaan uitbreiden met een leuke RAID config, dual CPU, 2GB geheugen én een service contract.

Je hebt zekerheid, maar die heeft een prijs. In dit geval heeft hij denk ik meer aan een flinke machine; een merkbak die voor dat geld wel stabiel is maar de workload niet aankan is ook niet alles imho

maar een server die niet stabiel is zit je met 100 klanten ook niet op te wachten

kijk maar naar de bakken van t.net

[Verwijderd]

Duinkonijn schreef op 02 oktober 2004 @ 17:24:
[...]

maar een server die niet stabiel is zit je met 100 klanten ook niet op te wachten

kijk maar naar de bakken van t.net

Ik weet niet waar je het precies over hebt maar die Appro dual Opteron's zijn superstabiel. De enige bak die instabiel is / was is Atlas, notabene een Compaq server....

Zelf doe ik ook meer aan zelfbouw, maar ik zorg dat ik een en ander standby heb, óf dat ik zeker weet dat ik spullen snel kan omwisselen (dankzij een kennis bij de lokale computershop )

[Duinkonijn]

Verwijderd schreef op 02 oktober 2004 @ 17:27:
[...]


Ik weet niet waar je het precies over hebt maar die Appro dual Opteron's zijn superstabiel. De enige bak die instabiel is / was is Atlas, notabene een Compaq server....

Zelf doe ik ook meer aan zelfbouw, maar ik zorg dat ik een en ander standby heb, óf dat ik zeker weet dat ik spullen snel kan omwisselen (dankzij een kennis bij de lokale computershop )

bedoelde niet niet de huidige bakken..

maar ben van mening dat als je proffesioneel gaat werken dat een samengesteld systeem door een goede fabrikant meer rust geeft dan een apparaat wat zelf samen gesteld is

zei het ook dat de opstelling door de fabrikant goed getest is

dual xeon bak met raid 5 construct komt op 4897 euro uit.

2000 euro meer moet voor een bedrijf geen probleem zijn..
en anders maak je het gewoon kenbaar neer je inversteerders.

bovendien kan je naar je klanten ook kenbaar maken waar mee je werkt..
een zelfbouw klinkt in mijn ogen minder dan een compleet door hp ingericht systeem kwa servers.

[Verwijderd]

Maar ga even uit van het huidige budget, als hij zegt dat tie 3000 te besteden heeft, wat doe je dan? Zet je een bak neer met servicecontract waarvan je gewoonweg weet dat tie straks het niet meer bijhoudt, of bouw je zelf een krachtigere machine waarbij de kans dat hij goed functioneert goed is, en die wel snel genoeg is? (sowieso is een dual Opteron wel erg fijn gezien de dbaseperformance die die levert tov de Xeon (MSSQL uitgesloten))

Als je meer geld te besteden hebt ben ik het met je eens dat een support contract toch erg handig is, maar met een budget van 3000 heb je die luxe niet imho

[ Voor 11% gewijzigd door Verwijderd op 02-10-2004 17:50 ]

[Duinkonijn]

Verwijderd schreef op 02 oktober 2004 @ 17:49:
Maar ga even uit van het huidige budget, als hij zegt dat tie 3000 te besteden heeft, wat doe je dan? Zet je een bak neer met servicecontract waarvan je gewoonweg weet dat tie straks het niet meer bijhoudt, of bouw je zelf een krachtigere machine waarbij de kans dat hij goed functioneert goed is, en die wel snel genoeg is? (sowieso is een dual Opteron wel erg fijn gezien de dbaseperformance die die levert tov de Xeon (MSSQL uitgesloten))

Als je meer geld te besteden hebt ben ik het met je eens dat een support contract toch erg handig is, maar met een budget van 3000 heb je die luxe niet imho

sorry blijf eigenwijs. ik ga voor de bak "die het niet meer bijhoud"

Dan maar wat langzamer. hij heeft nu toch maar 15 gebruikers.

met een goede bedrijfsvoering heb je meer klanten + geld voor een uitgebreidere server en kan je ze laten loadbalance

[Femme]

Duinkonijn schreef op 02 oktober 2004 @ 17:24:
[...]

maar een server die niet stabiel is zit je met 100 klanten ook niet op te wachten

kijk maar naar de bakken van t.net

De enige (recentelijk) niet stabiele bak was hier een HP ProLiant. De andere zijn semi-zelfbouw barebones.

Als je de kennis in huis hebt en de juist componenten selecteert is een zelfbouw machine of barebone goed te doen. Bij een 1U rackmount zou ik overigens de voorkeur geven aan een barebone (bijv. Appro) zodat de behuizing, het moederbord en de processorkoeling op elkaar zijn afgestemd.

Gezien het feit dat de applicatie van TS op de huidige server een processorbelasting van 100 procent veroorzaakt zou ik vooral investeren in CPU power en niet in SCSI RAID. Als er meerdere klanten tegelijkertijd actief zijn zal die tweede CPU zeker helpen.

[Duinkonijn]

Femme schreef op 02 oktober 2004 @ 19:20:
[...]


De enige (recentelijk) niet stabiele bak was hier een HP ProLiant. De andere zijn semi-zelfbouw barebones.

Als je de kennis in huis hebt en de juist componenten selecteert is een zelfbouw machine of barebone goed te doen. Bij een 1U rackmount zou ik overigens de voorkeur geven aan een barebone (bijv. Appro) zodat de behuizing, het moederbord en de processorkoeling op elkaar zijn afgestemd.

Gezien het feit dat de applicatie van TS op de huidige server een processorbelasting van 100 procent veroorzaakt zou ik vooral investeren in CPU power en niet in SCSI RAID. Als er meerdere klanten tegelijkertijd actief zijn zal die tweede CPU zeker helpen.

de voornamelijke rede dat ik raid 5 zeg is dat ik gewoon niet voor het feit wil staan dat me enige server onderuit ligt (bij hhd fail)

als je meerdere servers heb boeit het niet zo als er 1 failt. backup restoren op andere servers en verder blazen.

heb (helaas ) recentelijk de voordelen ervaren van 5, en de nadelen in een andere omgeving.

[Verwijderd]

Duinkonijn schreef op 02 oktober 2004 @ 22:20:
[...]


de voornamelijke rede dat ik raid 5 zeg is dat ik gewoon niet voor het feit wil staan dat me enige server onderuit ligt (bij hhd fail)

als je meerdere servers heb boeit het niet zo als er 1 failt. backup restoren op andere servers en verder blazen.

heb (helaas ) recentelijk de voordelen ervaren van 5, en de nadelen in een andere omgeving.

Ligt eraan hoe zwaar de HD-I/O op die bak is (als je cpu naar de 100% gaat nu, zal de I/O niet limiterend zijn normaal gesproken), maar je zou kunnen overwegen om voor een software RAID 1 te gaan. Qua belasting voor de cpu zou ik me daar niet druk om maken (geen pariteitsberekeningen e.d. nodig), maar je hebt wel de extra zekerheid en extra leesprestaties. Zo bespaar je op de kosten voor de diskarray, maar je kan dan een stel snellere Opteron's in die bak drukken.