Trager homeserver door veel software - Wat is de rede?

Pagina: 1
Acties:

Vraag


Acties:
  • 0 Henk 'm!

  • ADiTheMAN0
  • Registratie: April 2019
  • Laatst online: 18-05 01:08
Ik heb een homeserver thuis draaien waarop heel wat software draait. Bv Plex, Docker, maar vooral heel veel (stuk of 20) trading applicaties die trading algoritmes draaien. Het gaat hier dan om specifiek te zijn om MetaTrader 4, MetaTrader 5 of cTrader. je kan dan van deze apps meerdere instanties openen / installeren.

Als ik alles opstart wat ik zou willen opstarten, reageert alles super traag als ik op mn server zit via een windows remote desktop connection. Ik moet heel lang wachten op een reactie als ik ergens op klik. Ik ben daardoor echt heel lang bezig als ik iets wil doen. Het is gewoon niet werkbaar.

Echter als ik naar de taskmanager ga, komt mn CPU verbruik normaal gesproken niet boven de 25%, RAM zit rond de 60%, disk en network is ook heel laag. Daarnaast werkt de plex server, of bv de fileserver normaal als ik een file via smb op de server plaats.

Wat ik graag zou willen is begrijpen wat precies de bottleneck is, uiteraard zal het vast door de vele software komen, maar waarom bevestigd de task manager dit niet? Is het een CPU issue? Ben hier heel nieuwsgierig naar. En ook of het zin heeft om mn hardware te upgraden. Vind het geen probleem om het up te graden maar doe dit nog niet omdat ik nog niet helemaal duidelijk heb wat het probleem is en of een upgrade dit oplost. Hopelijk kunnen jullie me helpen, met deze beperkte info, om dit beter te begrijpen. Bedankt!

Software: Windows 10 Pro

Hardware:
CPU: Intel Core i5-9600K
MoBo: ASRock Z390M-ITX/ac
RAM: Corsair Vengeance LPX 32GB (2x 16GB) DDR4 3200MHz CL16
SD: Kingston A2000 500GB M.2 SSD

Alle reacties


Acties:
  • +1 Henk 'm!

  • Oon
  • Registratie: Juni 2019
  • Niet online

Oon

Even los van dat het verre van ideaal is om dergelijke applicaties op Windows te draaien; is het niet gewoon netwerkgebruik?
Draaien die applicaties onder dezelfde user als waarmee je taskmanager opent? Zie je andere data als je taskmanager als admin start?

Acties:
  • 0 Henk 'm!

  • ADiTheMAN0
  • Registratie: April 2019
  • Laatst online: 18-05 01:08
Oon schreef op donderdag 20 juni 2024 @ 16:38:
Even los van dat het verre van ideaal is om dergelijke applicaties op Windows te draaien; is het niet gewoon netwerkgebruik?
Draaien die applicaties onder dezelfde user als waarmee je taskmanager opent? Zie je andere data als je taskmanager als admin start?
Yes, er is maar een user op de homeserver, daarop draait alles. Netwerk verbruik is laag als ik naar de task manager kijk.

Afbeeldingslocatie: https://tweakers.net/i/7-o9Lld6cbVEAeUIeyvvUGxoCco=/800x/filters:strip_icc():strip_exif()/f/image/Eei54GHlvPIUWEong9i2SWiB.jpg?f=fotoalbum_large

[ Voor 10% gewijzigd door ADiTheMAN0 op 20-06-2024 16:49 ]


Acties:
  • +1 Henk 'm!

  • !GN!T!ON
  • Registratie: September 2006
  • Laatst online: 18-05 17:57
gebruik je docker desktop en draaien die trading applicaties in docker desktop?

Volgens mij op Windows gebruikt Docker Desktop onderwater een Linux VM om de docker containers te draaien. Misschien dat deze VM niet genoeg resources toegekend heeft voor de docker containers? Dat zul je buiten de VM in Windows taskmanager dan niet kunnen zien.

Even gezocht. i.i.g. als je Hyper-V gebruikt dan hebben containers default een toewijzing van 2vCPU core en 1gb ram:
Each hyper-v container has by default only 1GB memory and 2 vCPUs. This limit contradicts documentation “By default, a container has no resource constraints”. I am running containers that need more than default hyper-v limits. For memory I was able to work around this by setting limits in compose file v3.
Je kan dit verifieren door als je alles gestart hebt, eens een contrainer in te gaan en daar in de terminal 'htop' in te typen. Hoe je de containers meer resources kan toewijzen hangt af van de tooling die je gebruikt.

[ Voor 49% gewijzigd door !GN!T!ON op 20-06-2024 17:01 ]


Acties:
  • 0 Henk 'm!

  • franssie
  • Registratie: Februari 2000
  • Nu online

franssie

Save the albatross

Lijkt het wel op.
When running on Linux, Docker uses the resource isolation features of the Linux kernel (such as cgroups and kernel namespaces) and a union-capable file system (such as OverlayFS)[11] to allow containers to run within a single Linux instance, avoiding the overhead of starting and maintaining virtual machines.[12] Docker on macOS uses a Linux virtual machine to run the containers.[13]

franssie.bsky.social | 🎸 Niets is zo permanent als een tijdelijke oplossing | Een goed probleem komt nooit alleen | Gibson guitar Fender Guitar God Damn Guitar


Acties:
  • 0 Henk 'm!

  • SVMartin
  • Registratie: November 2005
  • Niet online
Oon schreef op donderdag 20 juni 2024 @ 16:38:
Even los van dat het verre van ideaal is om dergelijke applicaties op Windows te draaien.
Als het allemaal al onder docker draait (plex kan ook, samba zit in elke Linux distro), dan is dit een hele goede tip! Debian (of wat je wilt), docker, en gaan.

Acties:
  • +1 Henk 'm!

  • ADiTheMAN0
  • Registratie: April 2019
  • Laatst online: 18-05 01:08
!GN!T!ON schreef op donderdag 20 juni 2024 @ 16:54:
gebruik je docker desktop en draaien die trading applicaties in docker desktop?
Ik gebruik inderdaad docker desktop, maar dat is alleen voor Nginx proxy manager (dat kan ik niet op Windows installeren). Ik installeer alles gewoon op windows wat op windows kan, dus ook mijn trading applicaties. Als ik Docker Desktop sluit heb ik geen verbetering. Het moet echt mijn 20 trading applicaties zijn, maar ik snap niet waarom ik volgens de task manager totaal niet aan een limiet zit, maar ik 30 seconden moet wachten als ik ergens op klik, bv op de start menu klik.

Hierbij een overzicht van taskmanager processen.

Afbeeldingslocatie: https://tweakers.net/i/GllQ7GikiIzWoSEEPoz61uGegX8=/800x/filters:strip_icc():strip_exif()/f/image/HbmVJBUTeOczbJb3rSaFP1EZ.jpg?f=fotoalbum_large

[ Voor 24% gewijzigd door ADiTheMAN0 op 20-06-2024 18:40 ]


Acties:
  • 0 Henk 'm!

  • Rmg
  • Registratie: November 2003
  • Laatst online: 18:52

Rmg

!GN!T!ON schreef op donderdag 20 juni 2024 @ 16:54:
gebruik je docker desktop en draaien die trading applicaties in docker desktop?

Volgens mij op Windows gebruikt Docker Desktop onderwater een Linux VM om de docker containers te draaien. Misschien dat deze VM niet genoeg resources toegekend heeft voor de docker containers? Dat zul je buiten de VM in Windows taskmanager dan niet kunnen zien.

Even gezocht. i.i.g. als je Hyper-V gebruikt dan hebben containers default een toewijzing van 2vCPU core en 1gb ram:


[...]


Je kan dit verifieren door als je alles gestart hebt, eens een contrainer in te gaan en daar in de terminal 'htop' in te typen. Hoe je de containers meer resources kan toewijzen hangt af van de tooling die je gebruikt.
De default met docker windows is al een hele tijd wsl 2 als backend.

Je kan gewoon in de docker desktop opties kijken welke backend je draait.

Acties:
  • +1 Henk 'm!

  • franssie
  • Registratie: Februari 2000
  • Nu online

franssie

Save the albatross

ADiTheMAN0 schreef op donderdag 20 juni 2024 @ 18:36:
[...]


Ik gebruik inderdaad docker desktop, maar dat is alleen voor Nginx proxy manager (dat kan ik niet op Windows installeren). Ik installeer alles gewoon op windows wat op windows kan, dus ook mijn trading applicaties. Als ik Docker Desktop sluit heb ik geen verbetering. Het moet echt mijn 20 trading applicaties zijn, maar ik snap niet waarom ik volgens de task manager totaal niet aan een limiet zit, maar ik 30 seconden moet wachten als ik ergens op klik, bv op de start menu klik.
Ok, en als je eens een monitor etc direct aan je server hangt? Hoe is de respons dan ?

franssie.bsky.social | 🎸 Niets is zo permanent als een tijdelijke oplossing | Een goed probleem komt nooit alleen | Gibson guitar Fender Guitar God Damn Guitar


Acties:
  • 0 Henk 'm!

  • SVMartin
  • Registratie: November 2005
  • Niet online
ADiTheMAN0 schreef op donderdag 20 juni 2024 @ 18:36:
[...]


Ik gebruik inderdaad docker desktop, maar dat is alleen voor Nginx proxy manager (dat kan ik niet op Windows installeren). Ik installeer alles gewoon op windows wat op windows kan, dus ook mijn trading applicaties. Als ik Docker Desktop sluit heb ik geen verbetering. Het moet echt mijn 20 trading applicaties zijn, maar ik snap niet waarom ik volgens de task manager totaal niet aan een limiet zit, maar ik 30 seconden moet wachten als ik ergens op klik, bv op de start menu klik.

Hierbij een overzicht van taskmanager processen.

[Afbeelding]
Misschien is de cpu heel druk om steeds van proces te wisselen? Hoe zie je dat onder Windows?

https://serverfault.com/q...ching-overhead-on-windows

Acties:
  • 0 Henk 'm!

  • franssie
  • Registratie: Februari 2000
  • Nu online

franssie

Save the albatross

Die Nginx proxy manager lijkt met onderzoeken waard, lijkt mij alleen nuttig als je vanuit een ander netwerk op de home server wil inloggen (ik zou dan WireGuard VPN gebruiken maar soit ik weet niet wat TS draait als services). Dat zou wat file kunnen veroorzaken bij het vele netwerk verkeer dat tradingapps veroorzaken (kleine berichten maar heel erg veel)
Als de remote desktop daar ook over loopt, en een lagere QOS heeft, dan kon dat best wel eens gaan hakkelen.

franssie.bsky.social | 🎸 Niets is zo permanent als een tijdelijke oplossing | Een goed probleem komt nooit alleen | Gibson guitar Fender Guitar God Damn Guitar


Acties:
  • 0 Henk 'm!

  • Oon
  • Registratie: Juni 2019
  • Niet online

Oon

ADiTheMAN0 schreef op donderdag 20 juni 2024 @ 18:36:
[...]


Ik gebruik inderdaad docker desktop, maar dat is alleen voor Nginx proxy manager (dat kan ik niet op Windows installeren). Ik installeer alles gewoon op windows wat op windows kan, dus ook mijn trading applicaties. Als ik Docker Desktop sluit heb ik geen verbetering. Het moet echt mijn 20 trading applicaties zijn, maar ik snap niet waarom ik volgens de task manager totaal niet aan een limiet zit, maar ik 30 seconden moet wachten als ik ergens op klik, bv op de start menu klik.

Hierbij een overzicht van taskmanager processen.

[Afbeelding]
Waarvoor draai je NginxPM dan? Want die is zoals @franssie aangeeft bedoeld om andere services aan te kunnen spreken, en als je die binnen Docker gebruikt vooral handig om andere Docker containers die een web UI hebben op een veilige manier van buiten te kunnen bereiken.
Hebben al deze trading tools een web UI ofzo?

In ieder geval, als je alleen NginxPM hebt draaien in Docker kun je heel Docker wel uitsluiten, want dan is dat alleen een doorgeefluik. Ik zou het dan ook gaan zoeken in de kant van proces overhead aangezien het allemaal applicaties zijn (en dus niet gewoon achtergrondprocessen) en Windows ze waarschijnlijk allemaal enige voorrang probeert te geven

Acties:
  • 0 Henk 'm!

  • ADiTheMAN0
  • Registratie: April 2019
  • Laatst online: 18-05 01:08
Oon schreef op donderdag 20 juni 2024 @ 20:26:
Waarvoor draai je NginxPM dan? Want die is zoals @franssie aangeeft bedoeld om andere services aan te kunnen spreken, en als je die binnen Docker gebruikt vooral handig om andere Docker containers die een web UI hebben op een veilige manier van buiten te kunnen bereiken.
Hebben al deze trading tools een web UI ofzo?
Heb andere apps (Grafana en WAMP op dezelfde server, Adguard Home op een RPI) met een webUI idd. Maar dit kan niet het probleem zijn, omdat als ik Docker Desktop helemaal uitzet, er niks verbeterd.
SVMartin schreef op donderdag 20 juni 2024 @ 18:43:
Misschien is de cpu heel druk om steeds van proces te wisselen? Hoe zie je dat onder Windows?

https://serverfault.com/q...ching-overhead-on-windows
Intressant! Heb even gezocht, maar kan niet vinden hoe ik dit zou kunnen checken op Windows 10 of dit het/een deel van het probleem is. Iemand een idee?
franssie schreef op donderdag 20 juni 2024 @ 19:00:
Die Nginx proxy manager lijkt met onderzoeken waard, lijkt mij alleen nuttig als je vanuit een ander netwerk op de home server wil inloggen (ik zou dan WireGuard VPN gebruiken maar soit ik weet niet wat TS draait als services). Dat zou wat file kunnen veroorzaken bij het vele netwerk verkeer dat tradingapps veroorzaken (kleine berichten maar heel erg veel)
Als de remote desktop daar ook over loopt, en een lagere QOS heeft, dan kon dat best wel eens gaan hakkelen.
Ik zal mijn server is naar boven halen, en dan rechtstreeks gebruiken ipv via een remote session. Dan kan ik checken of het probleem zich nog voordoet. Dit zou best wel eens het kunnen zijn, want de trading apps krijgen allemaal heel veel hele kleine berichten binnen (ticks) van de pairs die in handel, en dat dan keer 20.
franssie schreef op donderdag 20 juni 2024 @ 18:40:
Ok, en als je eens een monitor etc direct aan je server hangt? Hoe is de respons dan ?
Dit begrijp ik niet, zou je iets meer kunnen zeggen over wat ik zou kunnen doen? Wat voor monitor? Dank!

[ Voor 3% gewijzigd door ADiTheMAN0 op 21-06-2024 09:54 ]


Acties:
  • 0 Henk 'm!

  • franssie
  • Registratie: Februari 2000
  • Nu online

franssie

Save the albatross

I'm bedoel gewoon aansluiten , niet remote maar dat was je Al van plan.

franssie.bsky.social | 🎸 Niets is zo permanent als een tijdelijke oplossing | Een goed probleem komt nooit alleen | Gibson guitar Fender Guitar God Damn Guitar


Acties:
  • 0 Henk 'm!

  • ADiTheMAN0
  • Registratie: April 2019
  • Laatst online: 18-05 01:08
Heb de server rechtstreeks bestuurd ipv via remote session. Voor mijn gevoel was het iets beter, maar nog steeds mega traag. Ik heb dus heel veel apps die heel veel kleine berichtjes krijgen. Aangezien dit niet werkbaar is, wil ik denk ik upgraden, en hopen dat dit beter gaat. Input is welkom, mis wat kennis:

Neem aan een CPU met veel cores in mijn geval zal helpen. Dacht aan de AMD Ryzen 9 9900X die eraan komt.

Hoe zit het met het netwerk deel, heel veel kleine berichten. Of is hier niets aan te doen met hardware? Alvast bedankt!

Acties:
  • +1 Henk 'm!

  • dylan111111
  • Registratie: Oktober 2013
  • Laatst online: 16:45
Nieuwe hardware kopen zonder het exacte probleem te weten is altijd een gok.
Zou je niet beter Proxmox kunnen installeren en daar vanuit met VM/containers werken? Dan is beheer en backuppen ook een stuk makkelijker en ben je van de Windows overhead af.

Acties:
  • 0 Henk 'm!

  • SVMartin
  • Registratie: November 2005
  • Niet online
Ik zou ook niet iets relatiefs duur aanschaffen, zonder zeker te weten dat dit helpt.

Voor mijn werk voer ik performance tests uit, vaak zit de oplossing van een probleem in de software terwijl de hardware te groot gesized is.

Ik moet vandaag toch weer eens naar Windows booten, zal eens kijken of ik je kan helpen met die context switching.

Draaien vanaf Linux based systeem ben ik overigens sowieso voorstander van:)

Acties:
  • 0 Henk 'm!

  • ADiTheMAN0
  • Registratie: April 2019
  • Laatst online: 18-05 01:08
dylan111111 schreef op woensdag 26 juni 2024 @ 09:37:
Nieuwe hardware kopen zonder het exacte probleem te weten is altijd een gok.
Zou je niet beter Proxmox kunnen installeren en daar vanuit met VM/containers werken? Dan is beheer en backuppen ook een stuk makkelijker en ben je van de Windows overhead af.
cTrader, een van mijn twee trading apps, kan je niet op Linux installeren, en heb dus sowieso windows nodig.

Ik zou het liefst ook beter willen begrijpen wat het probleem / de bottleneck is, maar ik heb op dit moment geen idee wat ik zou kunnen checken of doen om te dit te achterhalen. Als iemand een idee heeft hoor ik het graag.

Acties:
  • 0 Henk 'm!

  • ChaserBoZ_
  • Registratie: September 2005
  • Laatst online: 18-05 22:14
ADiTheMAN0 schreef op woensdag 26 juni 2024 @ 10:21:
[...]


cTrader, een van mijn twee trading apps, kan je niet op Linux installeren, en heb dus sowieso windows nodig.

Ik zou het liefst ook beter willen begrijpen wat het probleem / de bottleneck is, maar ik heb op dit moment geen idee wat ik zou kunnen checken of doen om te dit te achterhalen. Als iemand een idee heeft hoor ik het graag.
Niet standaard, wel met Wine; https://ctraderbrokers.com/how-to-run-ctrader-for-linux/

Een GUI op een server is 99% zonde van de resources. Ik zou een Linux VM aanmaken, Wine erop, ctrader erop en dan eens zien wat doet. Werkt dat goed? Dan kun je met alles naar Linux (in Proxmox bijvoorbeeld).

In Proxmox kun je VM's ook een stukje CPU en geheugen toewijzen, en op die manier wellicht wat beteugelen.

'Maar het heeft altijd zo gewerkt . . . . . . '


Acties:
  • +2 Henk 'm!

  • SVMartin
  • Registratie: November 2005
  • Niet online
Als je Windows 10 gebruikt (en voor andere versies waarschijnlijk zeer vergelijkbaar):

1. start "Performance Monitor"
2. Linksboven heb je Performance => Monitoring Tools => Performance Monitor. Klik op die laatste.Je ziet nu als het goed is al een grafiekje van %Processor time.
3. Klik bovenaan op het groene plusje. Je krijgt nu een hele lange lijst met categorieen metrieken.
4. Zoek naar 'System' en klap die uit. Je ziet nu Çontext Switches/sec. Klik op 'Add >>'. Klik nu op OK.

Als het goed is zie je nu in de grafiek twee lijnen, die can %Processor Time en Context Switches/sec. Je kunt in de 'show' kolom kiezen welke je wilt zien.

Zo kun je dus meer inzicht krijgen in wat je systeem doet. Het is nu de uitdaging om grip te krijgen op waar moet ik naar kijken, wat is nu een probleem en wat niet?

Acties:
  • 0 Henk 'm!

  • ADiTheMAN0
  • Registratie: April 2019
  • Laatst online: 18-05 01:08
SVMartin schreef op woensdag 26 juni 2024 @ 11:23:
Als je Windows 10 gebruikt (en voor andere versies waarschijnlijk zeer vergelijkbaar):

1. start "Performance Monitor"
2. Linksboven heb je Performance => Monitoring Tools => Performance Monitor. Klik op die laatste.Je ziet nu als het goed is al een grafiekje van %Processor time.
3. Klik bovenaan op het groene plusje. Je krijgt nu een hele lange lijst met categorieen metrieken.
4. Zoek naar 'System' en klap die uit. Je ziet nu Çontext Switches/sec. Klik op 'Add >>'. Klik nu op OK.

Als het goed is zie je nu in de grafiek twee lijnen, die can %Processor Time en Context Switches/sec. Je kunt in de 'show' kolom kiezen welke je wilt zien.

Zo kun je dus meer inzicht krijgen in wat je systeem doet. Het is nu de uitdaging om grip te krijgen op waar moet ik naar kijken, wat is nu een probleem en wat niet?
Bedankt! Heb een sample van 10 minuten genomen, zie onderstaand het resultaat.

Afbeeldingslocatie: https://tweakers.net/i/rEQKkCV4qVOt4nzUBre6NUx0aO8=/800x/filters:strip_icc():strip_exif()/f/image/uHsH1ONWDo15F4vrPkBRfijc.jpg?f=fotoalbum_large

Redelijk stabiel met een gemiddelde van rond de 117k CS/sec. Nou is de volgende vraag, is dat de bottleneck?

Na wat googlen (ik ben hier totaal niet bekend mee), zie ik meerdere posts waarin men zegt dat zodra het boven tientallen honderdduizenden komt het een probleem kan zijn:
Depending on the CPU, thousands per second might not be significant. Tens or hundreds of thousands might be.
Aan de andere kant, mijn desktop die idle is heeft al een gemiddelde van 25k CS/sec. Zou iemand mij hiermee kunnen helpen? Bedankt.

Acties:
  • +3 Henk 'm!

  • SVMartin
  • Registratie: November 2005
  • Niet online
Terwijl ik onderstaande lijstje aan het maken was zie ik je post binnen komen :-)

Een lijstje met interessante metrieken:
- LogicalDisk => Current Disk Queue Length => als deze boven de 0 is dan staat er iets te wachten op disk
- PhysicalDisk => Current Disk Queue Length => idem
- Network adapter => output queue length
- Network Interface => output queue length
- tcpv4 => connection faliures
- tcpv4 => connections reset
- thread => context switches/sec => dit levert een heleboel metrieken op, wat zegt de onderste (_Total)?

Die laatste laat je het dus ook per proces zien. Dat zou 1 boosdoener kunnen aanwijzen, maar het kan ook gewoon over alle applicaties heen zitten.

Ik denk (maar mijn ervaring hier is ook bijna niet-bestaand) dat je met 117k inderdaad hoog zit. Ik las via google dat tienduizenden nog wel kan, maar niet dat honderdduizenden ok is. Zal ook wel aan je CPU liggen en je hebt geen dual socket server met 2x16 threads ofzo.

Wat je ook nog kunt doen: zet in je bios hyperthreading uit, en kijk hoe het dan is. Vooral SQL server heeft daar nog wel eens problemen mee, misschien helpt het in jouw situatie ook. Je wilt dus eigenlijk dat aantal context switches lager hebben en het cpu gebruik hoger dan de 25% die je nu ziet.

Acties:
  • 0 Henk 'm!

  • SVMartin
  • Registratie: November 2005
  • Niet online
Ik ken alle applicaties niet die je draait. Maar ik weet niet of daar veel gelogd wordt naar disk, en of je dat uit kunt zetten. Of dat er applicaties tussen zitten waarin je kunt configureren hoeveel geheugen en hoeveel threads ze mogen gebruiken, etc. Daar kun je misschien ook nog wel wat mee spelen.

Acties:
  • 0 Henk 'm!

  • SVMartin
  • Registratie: November 2005
  • Niet online
Nog een gedachte; die context switches kunnen ook veroorzaakt worden door het netwerk verkeer. Je cpu moet bij elk berichtje dat de netwerkkaart ontvangt iets doen.

Nu zie ik dat dit moederbord al een intel netwerkkaart heeft, die zijn over het algemeen beter dan de realtek chips op dit gebied (ze doen zelf meer en hebben de cpu minder nodig).

Ben je via wifi, of via een utp kabel verbonden? Indien wifi: zet die eens uit en verbind eens met een kabel?

Als je via de kabel werkt kun je eens de laatste intel netwerk drivers proberen. Die worden waarschijnlijk niet door asrock geleverd, maar je kunt die wel van de intel website halen.

Daarnaast zijn er in je netwerkkaart nog settings, waarbij de netwerkkaart meer doet om cpu te besparen. Die staan hier beschreven: https://www.intel.com/con...93/ethernet-products.html

Acties:
  • 0 Henk 'm!

  • Yarisken
  • Registratie: Augustus 2010
  • Laatst online: 15:55
Afgaande op commentaar van SVMartin.
Heb je disk I/O al bekeken ? Kan zijn dat je disk niet kan volgen met de vele transacties ook al heb je een SSD.

Acties:
  • 0 Henk 'm!

  • SVMartin
  • Registratie: November 2005
  • Niet online
Volgens de eerste post is disk gebruik laag, maar dit zou nog steeds een issue kunnen zijn, vandaar ook goed om te kijken naar de 'current disk queue length'.

Acties:
  • 0 Henk 'm!

  • ADiTheMAN0
  • Registratie: April 2019
  • Laatst online: 18-05 01:08
SVMartin schreef op woensdag 26 juni 2024 @ 14:21:
Terwijl ik onderstaande lijstje aan het maken was zie ik je post binnen komen :-)

Een lijstje met interessante metrieken:
- LogicalDisk => Current Disk Queue Length => als deze boven de 0 is dan staat er iets te wachten op disk
- PhysicalDisk => Current Disk Queue Length => idem
- Network adapter => output queue length
- Network Interface => output queue length
- tcpv4 => connection faliures
- tcpv4 => connections reset
- thread => context switches/sec => dit levert een heleboel metrieken op, wat zegt de onderste (_Total)?

Die laatste laat je het dus ook per proces zien. Dat zou 1 boosdoener kunnen aanwijzen, maar het kan ook gewoon over alle applicaties heen zitten.
Ten eerste heel erg bedankt voor je hulp!!

De 4 Disk en Network performance cijfers geven geen issues aan, staat heel sporadisch op 1, maar bijna altijd op 0.

TCPv4 cijfers.
Als ik het goed interpreteer is dit een getal wat alleen maar oploopt, het lijk ook data mee te nemen voor mijn sample periode? Zojuist de server gerestart, en na minuut of 15:
Connection Failures: 52 (Average, Min en Max)
Connection Reset: ~5000, elke seconden komt daar 1 of 2 bij.

Thread => context switches/sec cijfers.
_Total is rond de 115k. Omdat er zoveel regels zijn, en je niet op average kan sorteren, het zijn er ook te veel om in de graph weer te geven, is het heel moeilijk om een analyse te doen op applicatie niveau. Kan wel bevestigen dat de trading apps veruit de hoogste CS/sec hebben van de verschillende applicaties die ik heb bekeken.
SVMartin schreef op woensdag 26 juni 2024 @ 14:54:
Nog een gedachte; die context switches kunnen ook veroorzaakt worden door het netwerk verkeer. Je cpu moet bij elk berichtje dat de netwerkkaart ontvangt iets doen.

Nu zie ik dat dit moederbord al een intel netwerkkaart heeft, die zijn over het algemeen beter dan de realtek chips op dit gebied (ze doen zelf meer en hebben de cpu minder nodig).

Ben je via wifi, of via een utp kabel verbonden? Indien wifi: zet die eens uit en verbind eens met een kabel?

Als je via de kabel werkt kun je eens de laatste intel netwerk drivers proberen. Die worden waarschijnlijk niet door asrock geleverd, maar je kunt die wel van de intel website halen.

Daarnaast zijn er in je netwerkkaart nog settings, waarbij de netwerkkaart meer doet om cpu te besparen. Die staan hier beschreven: https://www.intel.com/con...93/ethernet-products.html
Ben via de kabel verbonden, en heb de nieuwste driver geïnstalleerd. Had er een uit 2020, en nu eentje die maar paar maanden oud is, maar dat heeft niet echt geholpen. Heb nog niet aan de settings gezeten om de CPU te besparen. Dat ga ik morgen is proberen.
SVMartin schreef op woensdag 26 juni 2024 @ 14:21:
Wat je ook nog kunt doen: zet in je bios hyperthreading uit, en kijk hoe het dan is. Vooral SQL server heeft daar nog wel eens problemen mee, misschien helpt het in jouw situatie ook. Je wilt dus eigenlijk dat aantal context switches lager hebben en het cpu gebruik hoger dan de 25% die je nu ziet.
Oops, toen ik hyperthreading wilde uitzetten kwam ik erachter dat ik niet de I5-11400 heb, maar de I5-9600k. Die heeft dus geen hyperthreading. Slordig, excuus. Had dit gepakt van mijn oude wenslijst op tweakers, maar dat was dus niet correct. Andere hardware stond wel goed.

Acties:
  • +1 Henk 'm!

  • SVMartin
  • Registratie: November 2005
  • Niet online
Nog geen resultaat, aan de andere kant, met elk puntje uitsluiten kom je ook verder :-)

Ik ben benieuwd of je nog iets met die netwerkadapter instellingen kunt doen. Er zitten er dus een paar bij die voor minder cpu gebruik moeten zorgen.

Ik zag dat er nog een i9-9900k bestaat met 8 cores en hyperthreading, maar die ik kon niet zo snel een tweedehands exemplaar vinden.

Ik bedacht me zojuist nog iets: de spectre/meltdown vulnerabilities hebben fixes gekregen die impact hadden op de performance, vooral het context switchen. Wellicht kun je eens testen om die uit te zetten? Ik vind in ieder geval dit via google: https://www.grc.com/inspectre.htm

Acties:
  • 0 Henk 'm!

  • SVMartin
  • Registratie: November 2005
  • Niet online
Nog iets ontdekt?

Acties:
  • 0 Henk 'm!

  • ADiTheMAN0
  • Registratie: April 2019
  • Laatst online: 18-05 01:08
SVMartin schreef op donderdag 27 juni 2024 @ 22:09:
Ik ben benieuwd of je nog iets met die netwerkadapter instellingen kunt doen. Er zitten er dus een paar bij die voor minder cpu gebruik moeten zorgen.
Alle instellingen, op twee na, die de CPU ontlasten stonden per default al aan. Heb de Interrupt moderation rate van adaptive naar extreme aangepast, maar dat mocht niet baten helaas. Zat alleen te twijfelen over Jumbo Packets, maar door het onderstaande lijkt het me niet verstandig om het aan te zetten.

Enable Jumbo Packets only if devices across the network support them and are configured to use the same frame size

Aangezien mijn server een jaar of 5 oud is, ga ik denk ik upgraden of een tweede server maken voor alleen mijn trading apps, en hopen dat het probleem zich niet meer voor zal doen. Heb goede hoop omdat ik de trading apps vandaag heb gerunned op mijn desktop PC met een AMD Ryzen 7 3700X, en had toen geen issues zoals ik op de server heb, dat was soepel.

Ik wacht op de AMD 9000 serie, en ga dan voor de AMD Ryzen 9 9900X of AMD Ryzen 9 9950X. Waarschijnlijk total overkill... maar de resultaten van mijn trading apps zijn goed :P.

Baal alleen dat ik niet duidelijk kan aangeven wat het probleem nu is, ik vind het altijd wel leuk dit soort dingen te kunnen pinpointen. Heel erg bedankt voor je hulp!

Acties:
  • 0 Henk 'm!

  • SVMartin
  • Registratie: November 2005
  • Niet online
Graag gedaan!

Jumbo packets is handig bij veel data, bijvoorbeeld vanaf een NAS. Door de frames groter te maken heb je grotere berichten, dus relatief minder overhead. Zal in jouw geval niet helpen.

Wanneer je iets nieuws koopt zou ik vooral naar veel cores kijken, en het energieverbruik in de gaten houden. Door iets onder te klokken kun je waarschijnlijk een hoop elektriciteit besparen, zonder merkbaar snelheidsbery. Een homewizard power plug is dan ook leuk voor het inzicht.
Pagina: 1