[GameServer] Latency/loadavg/CPU-load

[Sorcerer8472]

Ik heb een vagigheid in een 2.4.20-kernel (Gentoo overigens), met low latency patch (geen preemptible kernel patch, ik denk eraan om die eens uit te gaan proberen overigens):

De CPU-load is zo'n 50% totaal (system+user), maar load average is op die tijden >1.00 (wat resulteert in merkbare vertragingen voor de speler). Godzijdank gebeurt dit niet vaak, maar het is toch lastig omdat ik denk dat er veel meer power uit die machine te halen valt.

De processor is een 2500+ AMD (Barton), en er zit 1.5 GB RAM in (waar hij trouwens ook mee zit te cachen).

Iemand een idee hoe het komt dat hij een load van >1.00 heeft, terwijl het processorgebruik maar rond de 50% is? (hele tijd zitten monitoren met top - echt soms load 1.10 terwijl processor <50% is)

Iemand een idee wat een preemptible kernel patch zou doen met de responstijden van gameservers in geval van druk systeem?

[ Voor 15% gewijzigd door Sorcerer8472 op 18-09-2003 13:01 ]

[Equator]

1: Een gameserver lijkt me niet echt een PNS iets
2: Een barton heeft maar iets van 128kb L2 cache, dus verwacht geen wonderen.
3: Een systemload is niet een afschildering van het CPU gebruik alleen. Het mem usage, disk I/O heeft daar ook een factor in.
Met de 1,5Gb RAM en weinig Disk I/O zal 50% CPU usage misschien maar een System Load van < (kleiner dan) 1,00 opleveren..

De vertraging die je merkt kan komen uit het feit dat de game/applicatie gewoon meer CPU kracht nodig heeft. Wellicht is de disk ook niet snel genoeg.. Hoe groot is je Swap space.. (Toch niet ook 1,5GB he.. )
Met 1,5GB RAM zou ik de swap space proberen zo klein mogelijk te maken.. Vooral bij tragere disken kan dat behoorlijk sschelen in performance..

[Sorcerer8472]

Hij swapt totaal niet in dit geval, hoewel swapspace idd ook 1.5 GB is. Gebruik ervan blijft op 0. Disk IO kan er inderdaad wel zijn vanwege het laden van allerlei zooi... maar zou dat zo'n vertragingen moeten opleveren?
Voor zover ik weet heeft dit type processor juist 512 kB L2 cache Daarom juist 2500+ en niet 2600+.

Mem usage blijft zo'n 700 MB. De rest wordt gebruikt om te cachen (kan dat negatief zijn voor performance trouwens?)

Waarom zou dit niet in PNS thuishoren? Omdat er deze keer geen websites maar gameservers op de server lopen?

[DGTL_Magician]

Sorcerer8472 schreef op 18 september 2003 @ 14:05:
Hij swapt totaal niet in dit geval, hoewel swapspace idd ook 1.5 GB is. Gebruik ervan blijft op 0. Disk IO kan er inderdaad wel zijn vanwege het laden van allerlei zooi... maar zou dat zo'n vertragingen moeten opleveren?
Voor zover ik weet heeft dit type processor juist 512 kB L2 cache Daarom juist 2500+ en niet 2600+.

Mem usage blijft zo'n 700 MB. De rest wordt gebruikt om te cachen (kan dat negatief zijn voor performance trouwens?)

Waarom zou dit niet in PNS thuishoren? Omdat er deze keer geen websites maar gameservers op de server lopen?

Ik zou je swap ruimte gaan verkleinen. Hoewel er geen gebruik van word gemaakt moet het wel gealloceerd worden.

[Sorcerer8472]

DGTL_Magician schreef op 18 September 2003 @ 14:12:
[...]

Ik zou je swap ruimte gaan verkleinen. Hoewel er geen gebruik van word gemaakt moet het wel gealloceerd worden.

Bedankt voor de tip
Ga het zodadelijk eens doen

[Equator]

Sorcerer8472 schreef op 18 September 2003 @ 14:05:
Hij swapt totaal niet in dit geval, hoewel swapspace idd ook 1.5 GB is. Gebruik ervan blijft op 0. Disk IO kan er inderdaad wel zijn vanwege het laden van allerlei zooi... maar zou dat zo'n vertragingen moeten opleveren?

Als er tijdens het draaien van de Applicatie/Game veel data weg wordt geschreven, of van disk moet worden gehaald, kan een trage disk voor een lag zorgen ja.

Voor zover ik weet heeft dit type processor juist 512 kB L2 cache Daarom juist 2500+ en niet 2600+.

De Rating zoals hij bekend is heeft niets te maken met het feit of er 512kb of 128kb cache op zit.

Ik meen dat de Barton core maar 128kb had, en daarbij dus 'vergelijkbaar' was met een celeron.. Ik check het even..

Mem usage blijft zo'n 700 MB. De rest wordt gebruikt om te cachen (kan dat negatief zijn voor performance trouwens?)

Bedoel je met cachen, dat er data van de app/game in het geheugen wordt gezet, of bedoel je swappen..

Hoe minder er geswapt wordt hoe beter natuurlijk..

Maar 700MB mem usage.. Je draait er toch geen X op of wel..

Waarom zou dit niet in PNS thuishoren? Omdat er deze keer geen websites maar gameservers op de server lopen?

Server =! PNS.
DWZ: Niet alle server topic's zijn per definitie PNS. PNS gaat over Professionele Server/Netwerk problemen. Ik betwijfel dat deze GameServer voor een professioneel bedrijf is, en dat het een zeer bedrijfskritische server betreft.
Daarmee is het topic dus geen PNS topic, en had het misschien beter is NOS thuis gehoord.
Maar goed, ik doe mijn best.. Misschien dat er nog een moderator actie onderneemt..

EDIT: Inderdaad.. De vernieuwde barton core heeft inderdaad 512KB L2 cache aan boord. Voorheen 256.. Dus ik had het dubbel fout..

[ Voor 5% gewijzigd door Equator op 18-09-2003 14:49 ]

[Kippenijzer]

Welke game gaat het hier eigenlijk om, hoeveel spelers heb je hem op ingesteld, welke extra features/mods draaien erop. Driaaen er nog andere dingen naast (apache/databeesje)... Geef eens wat meer info.

En dit is idd meer iets voor SPV

[Sorcerer8472]

Deze server is wel van een bedrijf, waardoor het dus wel professioneel is. Bedrijfskritisch valt echter wel mee, maar dat geldt ook voor een hoop (als niet de meerderheid) andere topics in PNS.

Het gaat overigens om Unreal Tournament, en tijdens het spelen vindt er geen benoemenswaardige disk IO-activiteit plaats. Anders zou ik niet hier vragen waar het aan lag

[Guru Evi]

heb je dma op je disks? welke disks? raid? kun je eens een volledig perf. controle doen en ons beschikbaar stellen ook? (phpsysinfo betekent al veel)
Wat is de max doorvoer van je disks eigenlijk (hdparm)?
Welke netwerkkaarten heb je, welke protocols, wat zit er in je kernel, wat draait er allemaal?

[ Voor 19% gewijzigd door Guru Evi op 18-09-2003 16:06 ]

[Gerco]

Het kan liggen aan het feit dat andere gameservers een mapchange doen. Dan krijgen de rest van de servers soms een lagstootje. Ik merk het af en toe als ik een server of 10 op een bak die de jouwe zet (je weet wel welke).

[TiMMieJ]

de Barton is juist WEL met 512 kb cache en de athlon XP met 256kb en de thorton die word gloof ikke met die 128 kb cache...
Maar de Barton is dus 100% zkz met 512kb L2 cache...

[Sorcerer8472]

Guru Evi schreef op 18 September 2003 @ 16:05:
heb je dma op je disks? welke disks? raid? kun je eens een volledig perf. controle doen en ons beschikbaar stellen ook? (phpsysinfo betekent al veel)
Wat is de max doorvoer van je disks eigenlijk (hdparm)?
Welke netwerkkaarten heb je, welke protocols, wat zit er in je kernel, wat draait er allemaal?

Ik gebruik 2x Western Digital JB1200 met 8 MB cache in een RAID1 array *)
Max. doorvoer van die dingen is RUIM genoeg voor een gameserver... RAID-controller is een 3ware (de goedkoopste, maar zou goed spul moeten zijn... wordt in Linux herkend als zijnde een SCSI-controller, voor het gemak)

Als netwerkkaart heb ik een onboard VIA-dingetje, en een Intel MT1000 Pro Gbit (overkill) netwerkkaart.

In kernel staat in principe zo ongeveer alles uit, behalve modules-support (voor het geval van uitbreiding, dan hoeft niet de hele kernel opnieuw gecompiled te worden => downtime).
Van de verdere benoemendwaardige instellingen: Low latency patch applied, preempted kernel niet applied (misschien leuk idee om te doen?).

Zal zometeen eventjes een phpsysinfootje genereren

En Gerco: dat zou kunnen natuurlijk, maar ik denk toch dat het wat anders is - zo'n mapchange duurt maar zo'n 2 seconde meestal...

[Sorcerer8472]

Het is een 2u rackserver: netwerkkaart, raidcontroller en oude PCI-videokaart (nVidia Riva 128) hangen allemaal in een raisercard.

Model AMD Athlon(TM) XP 2500+
Chip MHz 1833.22
Cache Size 512 KB
System Bogomips 3643.8

PCI Devices 3ware Inc 3ware 7000-series ATA-RAID
NVidia / SGS Thomson (Joint Venture) Riva128
Intel Corp. 82540EM Gigabit Ethernet Controller
VIA Technologies, Inc. VT6102 [Rhine-II]

IDE Devices hdb: HL-DT-ST CD-ROM GCR-8520B
SCSI Devices 3ware 3w-xxxx ( Direct-Access )

Kernel: 2.4.20-gentoo-r6 met low. lat. patch.
Crond: vcron. Logger: metalog. Filesys: ext3.

Swapping staat nu uit. Kijken of dat verschil maakt. Voor de rest staat er geen bruikbare info in phpsysinfo.

[Sorcerer8472]

Merk net dat het enge ding soms ineens van 0.00 naar 0.30 load vindt te moeten gaan?
Kan dat een fluke zijn? Door 'onnauwkeurige' meting van het loadaverage? In vmstats is namelijk helemaal niks bijzonders te zien, en van 0.00 naar 0.30 binnen 5 seconde is wel heel erg veel!
(zou een oorzaak kunnen zijn)

[Kippenijzer]

Ik draai zelf ut & cs, en die menen ook (als ze leeg zijn) soms effe 50% cpu nodig te hebben, voor 1 seconde ofzo (vol scsi systeem, met voldoende ram, dus daaraan zou het niet moeten liggen...)

[Predator]

PNS -> NOS

[Sorcerer8472]

Hmm, ik heb het idee dat de hoge load wellicht wordt veroorzaakt door de methode waarop het load average wordt samengesteld... Dat ga ik nu eerst eens verder uitzoeken...

Het uitschakelen van swapgeheugen heeft helemaal geen effect gehad