Wie helpt mij aan een geile webserver config ?

[Verwijderd]

Hallo,

Ik wil gaan bouwen een lekker webservertje, hij moet gewoon eng veel hits kunnen hebben.

Ik zelf zat te denken aan:

- Dual PIII 733
- 1Gb RAM
- SCSI RAID 0 - 2x 18Gb 10k Quantum schijfjes
- 19" (4U waarschijnlijk)

Hij gaat 99% alleen maar MySQL draaien en misschien wat CGI'tjes ..

Wat is het stoersts als OS, Mainboard etc?

Hansel

[mavink]

Ik zou van die RAID0 een RAID1 maken, je wilt geen kapotte schijven hebben... Als performance een probleem gaat worden 2x RAID1 (1x voor logfiles+systeem en 1x voor data) of RAID 0+1/5

Verder lijkt een redundante voeding me belangrijker dat 1 Gb geheugen. OS: Linux lijkt me?

[picobyte]

En een klontje margarine
Dan wordt hij botergeil

[mavink]

Ik weet niet of geld een probleem is (zal wel ), maar wat je dan beter kunt doen is wel een dual mobo kopen, maar daar maar 1 CPU op doen, en dan een iets snellere (bv 1 Ghz). Hetzelfde voor geheugen, iets van 1x 512 Mb en dan nog minimaal 3 DIMM-sloten vrijhouden voor toekomstig gebruik.

Als je server dan te langzaam wordt kan je altijd nog upgraden, en tegen de tijd dat dat nodig is zijn de nodige onderdelen waarschijnlijk goedkoper.

[_serial_]

drop dan quantum schijven...zijn de slowste....


greets
serial

[mavink]

Had Quantum niet net nieuwe 15Krpm schijven die X procent sneller zouden moeten zijn dat alle concurrerende produkten? (lees: Seagate)

[Femme]

Dat was IBM.

Een Atlas 10K is op zich niet traag. Een X15 is natuurlijk sneller, maar ook een paar honder gulden duurder.

[WAcKiN]

linux? c'mon! freebsd :]

btw, je zegt dat ie alleen mysql gaat draaien terwijl je het een webserver noemt? wat is het nu? :]

[Femme]

Ik zou dus echt geen FreeBSD gebruiken op een dual PIII die vooral MySQL moet draaien.

[Ravity]

Hmm.. een geile config...
Wij hebben op de zaak een Supermicro SS6010H,
met Dual P3-933, 2 GByte reg. ecc ram, Mylex AR170 in raid-1 met 2 Seagate X15's. Is maar 1U hoog, maar wordt niet warm. Draait FreeBSD 5... (dev-branch) Draait wel lekker

[twixx]

Op zondag 04 februari 2001 03:08 schreef Femme het volgende:
Ik zou dus echt geen FreeBSD gebruiken op een dual PIII die vooral MySQL moet draaien.

Presteerd FreeBSD niet SMP of is MySQL niet optimised for FreeBSD?

Anyway, SuperMicro RULEZ

[The System]

Op zondag 04 februari 2001 03:08 schreef Femme het volgende:
Ik zou dus echt geen FreeBSD gebruiken op een dual PIII die vooral MySQL moet draaien.

hoezo niet?

artemis draait toch ook dual p3(2x 733) die vooral Mysql doet op freeBSD..

zijn jullie er niet tevreden over ?

[WAcKiN]

hhe, ja, vertel :] zou idd kunnen dat mysql+freebsd smp niet echt goed werkt (dwz, zelfde 'probleem' wat non-smp apps hebben op nt; ze kunnen maar op 1 cpu draaien, dus dan zou je 2 mysqld's moeten draaien ofzo en die load balancen..) en dat linux die smp voor non-smp apps beter in elkaar heeft steken..

[Femme]

MySQL wil beide CPU's niet (tegelijkertijd) gebruiken onder FreeBSD. Het probleem wordt waarschijnlijk opgelost in FreeBSD 5, maar die is voorlopig nog niet stable.

[twixx]

Dat is inderdaad wel erg vervelend. Het plan is een nieuwe database server MySQL te laten draaien op een SuperMicro 370DLE. Er zit momenteel maar 1 CPU op.
Dat betekend wel dat het hele OS geupdate moet worden voordat MySQL SMP doet.
Wie heeft er goede ervaringen met andere DB servers? MySQL is nl. de enige welke geen subqueries ondersteund..

[The System]

Op zondag 04 februari 2001 13:40 schreef Femme het volgende:
MySQL wil beide CPU's niet (tegelijkertijd) gebruiken onder FreeBSD. Het probleem wordt waarschijnlijk opgelost in FreeBSD 5, maar die is voorlopig nog niet stable.

ahh zo...

is dat ook de reden voor de traagheid de laatste tijd? of zijn er andere probs?

* The System system- moet de laatste tijd nogal vaak wachten en krijgt pagina's binnen met de verkeerder lettertypes enzo

[jep]

Ik zou er debian oppoffen, in combi met die dual proc en MySQL, dan issie optimaal.

Verder zou ik zeggen, super

[Verwijderd]

Wauw, ik post wat op een zaterdag en we zijn alweer 16 posts verder

Wat ik mij dus errug afvraag, wat is beter:

Een dual PIII 733 + 512Mb ram OF
Een singel PIII 1000 + 1024Mb ram OF

- ga je gang, wat is beter?

Het feit is nu dat we een bannerscript gebruiken (php/MySQL) dat zo'n mwaah.. 90 childprocesses draait op een goed uurtje. Met 256Mb in je server wil je dat niet eigenliji .. vandaar dat ik dacht .. 1Gb geheugen .. en dan meteen dual PIII.

Geld is niet echt het probleem, maar het hoeft ook weer niet je van het. Ik wil gewoon een stabiele doos hebben.

Tips? Besturingssysteem ga ik wel wat mee spelen, mijn grote vraag is gewoon wat beter is: single of dual of 512 of 1gb geheugen.

[Femme]

Als je dat geheugen echt nodig hebt dan kan dat gigantisch schelen in performance.

Linux en FreeBSD cachen erg efficiënt. Als je databases erg groot zijn dan zal hij het geheugen nooit ongebruikt laten.

Ik zou dan liever een PIII-1000 (of TB1200 voor dezelfde prijs) met veel geheugen nemen.

[mavink]

Ik ben het wel met Femme eens, maar als je voor 'zeker' wilt gaan neem je wel een dual moederbordje.

Overigens: 90 van wat voor processen? 90 mysql's is met persistent connections helemaal niet zo veel, en die gebruiken shared memory dus dat tikt niet echt aan.

[Verwijderd]

Dit is op het moment:

4:22pm up 17 days, 3:04, 1 user, load average: 0.04, 0.07, 0.10
188 processes: 187 sleeping, 1 running, 0 zombie, 0 stopped
CPU states: 14.2% user, 9.3% system, 0.1% nice, 76.2% idle
Mem: 257816K av, 212124K used, 45692K free, 303900K shrd, 63264K buf
Swap: 131532K av, 7964K used, 123568K free 28488K cac

PID USER PRI NI SIZE RSS SHARE STAT LIB %CPU %MEM TIME COMMAND
21722 admin 11 0 976 976 684 R 0 5.6 0.3 0:03 top
21764 httpd 4 0 9136 7996 6628 S 0 3.3 3.1 0:00 httpd
24275 httpd 3 0 9484 8472 6784 S 0 1.8 3.2 1:02 httpd
27220 httpd 3 0 9488 8400 6732 S 0 1.8 3.2 0:25 httpd
24263 httpd 2 0 9540 8508 6760 S 0 1.6 3.3 1:00 httpd
24257 httpd 1 0 9556 8528 6756 S 0 0.9 3.3 1:03 httpd
21248 httpd 1 0 9168 7664 6808 S 0 0.9 2.9 0:00 httpd
9663 httpd 6 0 9600 8568 6832 S 0 0.3 3.3 0:48 httpd
24254 httpd 0 0 9540 8500 6744 S 0 0.1 3.2 1:01 httpd
24267 httpd 5 0 9532 8504 6764 S 0 0.1 3.2 1:03 httpd
24449 httpd 0 0 9848 8816 6908 S 0 0.1 3.4 1:00 httpd
24450 httpd 5 0 9520 8480 6756 S 0 0.1 3.2 0:58 httpd
24893 mysql 5 5 15208 14M 1712 S N 0 0.1 5.8 0:03 mysqld
25235 httpd 5 0 9600 8580 6848 S 0 0.1 3.3 1:00 httpd
21774 httpd 0 0 8880 7376 6772 S 0 0.1 2.8 0:00 httpd
1 root 0 0 120 68 48 S 0 0.0 0.0 0:05 init
2 root 0 0 0 0 0 SW 0 0.0 0.0 0:05 kflushd
3 root 0 0 0 0 0 SW 0 0.0 0.0 0:26 kupdate

Als ik dan ff ga greppen:


[admin admin]$ ps -aux | grep mysql|wc -l
101
[admin admin]$

Vind ik toch wel veel en .. ehm.. kun je mij eens uitleggen het verschil voor de server als ik pconnect of normale connect gebruik?

[WAcKiN]

Een persistente connectie blijft bestaan tussen php en mysql als het script afgelopen is (en kan worden hergebruikt?), een gewone connectie wordt verbroken en moet opnieuw worden gemaakt als het script een tweede keer draait. Het laatste geeft dus elke keer meer overhead en is dus efficienter en sneller (connecten kost ook tijd).
Precies weten doe ik het niet though, en apache's childs sterven na tijdje vanzelf om memleaking te voorkomen en dus de persistente connectie met hen??

Dit alles doet me denken dat het wel een goed idee is om een goeie, uitgebreide review/benchmark/testcase/whatever te maken van mysql op verschillende os'en (linux, free/net/openbsd (bsdi?), x86 solaris(?), windows nt, en eventuele andere os'en?) in SMP en eventueel non-smp. Ben ik wel zeer benieuwd naar! Misschien een idee voor tweakers!? (hint hint) :]

[Verwijderd]

Linux met Apache, PHP, MySQL. Distributie slackware 7.1, kernel 2.2.18 SMP en Raid 5 hardware matige ondersteuning.

Asus DUAL pentium III mainboard.
2 * pentium III 733 FSB 133 Mhz.
2 * 512 MB ECC 133 Mhz Geheugen.
1 * Mylex PCI raid controller (64MB)
4 * 9,1 IBM DNES U2W 10k schijven in raid 5 opstelling.
1 * 10/100 Mbit EEPRO100 Intel Ethernet Express.
1 * 4 mb pci videokaart.
1 * 19" behuizing dual voeding plus hot pluggable bays voor SCSI disks.
1 * cdrom speler.

Dat is het zo een beetje )

[Verwijderd]

dennis@main:9~$ /usr/prog/ps xa
PID TTY STAT TIME COMMAND
1 ? S 0:12 init [3]
2 ? SW 0:01 [kflushd]
3 ? SW 0:03 [kupdate]
4 ? SW 0:00 [kpiod]
5 ? SW 0:05 [kswapd]
51 ? S 343:27 /usr/sbin/syslogd
54 ? S 0:00 /usr/sbin/klogd -c 3
56 ? S 1:16 /usr/sbin/inetd
61 ? S 0:00 /usr/sbin/crond -l10
64 ? S 0:00 /usr/sbin/atd -b 15 -l 1
132 tty1 SW 0:00 [agetty]
133 tty2 SW 0:00 [agetty]
134 tty3 SW 0:00 [agetty]
135 tty4 SW 0:00 [agetty]
136 tty5 SW 0:00 [agetty]
137 tty6 SW 0:00 [agetty]
200 ? SW 18:16 [rpciod]
11830 ? SW 0:00 [safe_mysqld]
11839 ? SN 0:08 /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/usr/local/var --skip-locking
11841 ? SN 0:08 /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/usr/local/var --skip-locking
11842 ? SN 0:04 /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/usr/local/var --skip-locking
22973 ? S 1:24 /usr/local/sbin/sshd
23702 ? S 0:02 /var/lib/apache/bin/httpd
17327 ? S 0:00 ./portsentry -tcp
17329 ? S 0:00 ./portsentry -udp
10031 ? S 0:02 sendmail: accepting connections on port 25
5998 ? S 0:01 /usr/local/sbin/sshd
6000 pts/0 S 0:00 -bash
6015 pts/0 S 0:00 -su
14520 pts/0 S 43:55 ./hlds_run -game cstrike +map cs_assault +maxplayers 14
31960 ? S 0:00 /var/lib/apache/bin/httpd
32087 ? S 0:00 /var/lib/apache/bin/httpd
32095 ? S 0:00 /var/lib/apache/bin/httpd
32099 ? S 0:00 /var/lib/apache/bin/httpd
32358 ? S 0:00 /var/lib/apache/bin/httpd
32378 ? S 0:00 /var/lib/apache/bin/httpd
32536 ? S 0:00 /var/lib/apache/bin/httpd
319 ? S 0:00 /var/lib/apache/bin/httpd
389 ? S 0:00 /var/lib/apache/bin/httpd
416 ? S 0:00 /var/lib/apache/bin/httpd
423 ? S 0:00 /var/lib/apache/bin/httpd
458 ? S 0:00 /var/lib/apache/bin/httpd
529 ? S 0:00 /var/lib/apache/bin/httpd
531 ? S 0:00 /var/lib/apache/bin/httpd
532 ? S 0:00 /var/lib/apache/bin/httpd
559 ? S 0:00 /var/lib/apache/bin/httpd
561 ? S 0:00 /var/lib/apache/bin/httpd
562 ? S 0:00 /var/lib/apache/bin/httpd
597 ? S 0:00 /var/lib/apache/bin/httpd
888 ? S 0:00 /var/lib/apache/bin/httpd
1025 ? S 0:00 /var/lib/apache/bin/httpd
1196 ? S 0:00 /var/lib/apache/bin/httpd
1197 ? S 0:00 /var/lib/apache/bin/httpd
1198 ? S 0:00 /var/lib/apache/bin/httpd
1214 ? S 0:00 sendmail: server router.arvh.nl [195.193.232.113] child wait
1215 ? S 0:00 sendmail: MAA01215 router.arvh.nl [195.193.232.113]: DATA
1360 ? S 0:00 /var/lib/apache/bin/httpd
1362 ? S 0:00 /var/lib/apache/bin/httpd
1363 ? S 0:00 /var/lib/apache/bin/httpd
1365 ? S 0:00 /var/lib/apache/bin/httpd
1366 ? S 0:00 /var/lib/apache/bin/httpd
1367 ? S 0:00 /var/lib/apache/bin/httpd
1368 ? S 0:00 /var/lib/apache/bin/httpd
1370 ? S 0:00 /bin/sh -c /usr/local/mrtg-2/bin/mrtg /usr/local/mrtg-2/bin/mrtg.cfg-ping2 1> /dev/null 2> /dev/null
1371 ? S 0:00 /bin/sh -c /usr/local/mrtg-2/bin/mrtg /usr/local/mrtg-2/bin/mrtg.cfg-ping 1> /dev/null 2> /dev/null
1372 ? S 0:00 perl /usr/local/mrtg-2/bin/mrtg /usr/local/mrtg-2/bin/mrtg.cfg-ping2
1373 ? S 0:00 perl /usr/local/mrtg-2/bin/mrtg /usr/local/mrtg-2/bin/mrtg.cfg-ping
1384 ? S 0:00 sendmail: MAA01369 mimesweeper.guinness.co.uk.: user open
1405 ? S 0:00 /usr/local/sbin/sshd
1408 pts/2 S 0:00 -bash
1423 ? S 0:00 /usr/sbin/ipop3d
1425 ? S 0:00 /usr/sbin/ipop3d
1426 ? S 0:00 perl /usr/local/mrtg-2/bin/mrtg-ping-probe www.askjeeves.com
1427 ? S 0:00 /bin/ping -c 10 -s 56 www.askjeeves.com
1428 pts/2 R 0:00 /usr/prog/ps xa
1429 ? S 0:00 perl /usr/local/mrtg-2/bin/mrtg-ping-probe -t 42 -p loss/loss www.chello.nl
1430 ? S 0:00 /bin/ping -c 10 -s 56 www.chello.nl
dennis@main:9~$ uptime
12:26pm up 40 days, 15:14, 2 users, load average: 0.44, 0.37, 0.14
dennis@main:9~$ free
total used free shared buffers cached
Mem: 256984 252852 4132 83228 35324 109560
-/+ buffers/cache: 107968 149016
Swap: 257032 3184 253848
dennis@main:9~$ df
Filesystem 1k-blocks Used Available Use% Mounted on
/dev/sda1 8356464 2616912 5308212 33% /
xxx.xxx.xx.x:/home 11630084 932520 10106776 8% /home
dennis@main:9~$


Hier deze heeft het savonds nog drukker als iedereen zit te gamen op de counter strike server en iedereen leuke pages zitten te bekijken (ongeveer 13 request per seconde savonds) en het werkt perfect op een Pentium III 500 met 256 mb geheugen. En ook al heeft hij een load van 1.00 dan merk je nog niets van vertraging de SQL database of httpd.

Dus denk wel na voordat je extreme hardware gaat aanschaffen

Groetjes!

[Verwijderd]

Hoi,

Ik liet alleen maar de top 10 zien even met 'top' commando hoor

Er draaien gemiddeld zo'n 80 a 120 mysql clients en zo'n 40 httpd continu. Daarbij komt dat ik nog wat in petto heb (komen nog zo'n 20k gebruikers bij per dag, allemaal ook een mysql connectie nodig) .. dus vandaar dat ik wat leuks zoek.

Het is de bedoeling dat er een 4x zo zware load gaat komen op de server, nou ja.. bedoeling, liever niet, maar dat gebeurt gewoon dan

[mavink]

Als ik die eerdere 'top' even bekijk heb je zo'n 120 MB geheugen in gebruik, ongeveer de helft dus. Mysql gebruikt vooral shared memory, als er daar processen van bijkomen is dat dus niet zo erg. Voor apache geldt dat iets minder.

Als je wilt weten wat de bottleneck in je huidige systeem is, zou je bijvoorbeeld een tooltje als vmstat kunnen gebruiken. Dat geeft je statistieken over geheugengebruik, hoeveel er geswapt wordt, hoeveel er van schijf gelezen wordt en hoeveel CPU-gebruik je hebt. Voorbeeld:

code:

   procs                      memory    swap          io     system         cpu
 r  b  w   swpd   free   buff  cache  si  so    bi    bo   in    cs  us  sy  id
 2  0  0  10644   3644  74852 240012   0   0  2489     4  412   461  21   9  70
 0  2  0  10644   2540  74816 241472   0   0  5497   191  596   216  14   6  80
 0  1  0  10644   2480  74796 241532   0   0  1287     2  483   334   8   4  88
 0  2  0  10768   2080  74664 241248   0 128  2901   166  429   337  24  10  66

Dit voorbeeldje is een mailserver die op dit moment vooral van disk aan het lezen is, en nog zat geheugen vrij heeft. Ook de CPU heeft het niet echt druk.

Zo kan je dus makkelijk bepalen waaraan je het meeste geld moet uitgeven. Als-ie veel van de disk staat te lezen/aan het swappen is kan je het beste snelle schijven en/of veel geheugen kopen, als-ie veel CPU-gebruik heeft is een dual cpu systeempje wellicht wat.

Ik raad je aan om vmstat eens te draaien terwijl je vanaf een andere computer ab draait (apachebench) met het aantal gelijktijdige verbindingen dat je ongeveer verwacht. Dan kan je mooi zien wat er gebeurt met deze verschillende factoren.