Server advies voor nagios / centreon monitoring

[Thc_Nbl]

Goedmorgen,

Ik ben bezig met een nieuwe server voor een monitoring omgeving.
Momenteel is dit een Dell R310 16GB, Xeon X3470 2.93Ghz met H200 Raid, raid 1, 15K disk.
Deze monitort momenteel zo'n 125 apparaten en 1600 services
Tevens draait er een syslogger op voor alle bovenstaande apparaten.
Het draait allemaal op ubuntu.
De load nu zit tussen de 1.5-3.0 met uitschieters naar 7-8.

Nu is de verwachting dat het aantal te monitoren apparaten en services gaat verdubbelen.

Ik kwam zelf nu uit met het volgende.
Dell R412
2 x 8core 3.1Ghz Amd
16Gb Ram ( 4Gb gaat voor ramdisk gebruikt worden )
H700A 1Gb NV Cache Raid controller
2 x samsung 850 Pro SSD

maar nu vroeg ik mij af of er nog andere mensen andere tips hebben die ik over het hoofd ziet.

Daar komt bij dat de webinterface en de syslog evt nog naar een tweede machine gaat.
Dit alles komt op de laatste Ubuntu LTS.

Hebben jullie nog tips of puntjes van aandacht, aka wat vinden jullie van de opzet.

[FireDrunk]

Waar zit de load in? Misschien moet je eerst eens debuggen wat daadwerkelijk de load doet stijgen.
Dat kan door te trage IO komen, door je CPU, tekort aan memory...

Als je dat niet scherp hebt, kan je wel een nieuwe server uitzoeken, maar weet je helemaal niet zeker of dat het probleem wel oplost.

Als ik zo lees wat het ding moet doen, zou ik denken dat dat ding snel zat is, en er ergens in de configuratie iets mis is.

(of je moet elke seconde monitoren en loggen )

[Thc_Nbl]

De load nu komt door de web interface en de syslogging.
Ik heb nu een syslog data stroom van zo'n 1.5-4MB/s wat direct sql ingaat, wat nog meer wordt.

Er is al behoorlijk aan geoptimaliseerd, en dat zal misschien nog wel beter kunnen, dat gaat tevens weer gebeuren bij de nieuwe installatie. Daarnaast de server is 5 jaar oud, uit garantie, en mag vervangen worden..

te kort aan geheugen is het niet,
free -m
total used free shared buffers cached
Mem: 16038 6876 9161 0 551 3776
-/+ buffers/cache: 2549 13489
Swap: 22886 0 22886

iotop momentje.
Total DISK READ: 0.00 B/s | Total DISK WRITE: 2.16 M/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
992 be/3 root 0.00 B/s 0.00 B/s 0.00 % 76.80 % [jbd2/sda10-8]
4672 be/4 mysql 0.00 B/s 337.37 K/s 0.00 % 10.07 % mysqld
951 be/3 root 0.00 B/s 0.00 B/s 0.00 % 5.25 % [jbd2/sda7-8]
1445 be/4 mysql 0.00 B/s 423.67 K/s 0.00 % 0.82 % mysqld
29631 be/5 nagios 0.00 B/s 3.92 K/s 0.00 % 0.00 % nagios3 -d /etc/nagios3/nagios.cfg
1207 be/4 mysql 0.00 B/s 3.92 K/s 0.00 % 0.00 % mysqld
1213 be/4 mysql 0.00 B/s 392.29 K/s 0.00 % 0.00 % mysqld
1 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % init

Sommige nagios plugins zijn wat traag, en de apparaten waaruit alles uitgelezen word zijn soms wat traag.
Daar kan ik helaas niets aan verbeteren.

Ik gebruik nu nagios 3.4.1 met ndoutils-nagios3-mysql. deze combinatie heeft wat bekende problemen.
dat wordt in de nieuwe machine volledig centreon en centreon-brokers.

Maar elke tip om toch nog even te kijken om nagios verder te optimalisering wordt gewaardeerd hoor.
Ik kan er alleen maar meer van leren.
De nagios cache en spool mappen staan al naar ramdisk. dat was een behoorlijke verbetering al destijds.
Verder is de oude machine volgende de tuning site van nagios nagelopen en geoptimaliseerd.

Ik zelf doe alleen de inrichting van de server en software, nagios met de manier van checks dat doet de persoon die het na mijn installatie gaat gebruiken.

dit zijn nog wat stats van de huidige nagios.

Actively Checked
Time Frame Hosts Checked Services Checked
<= 1 min 15 229
<= 5 min 100 1395
<= 15 min 124 1519
<= 60 min 124 1636

Check Latency
Min Max Average
Hosts 0.000 sec 1.146 sec 0.620 sec
Services 0.007 sec 1.551 sec 0.561 sec

Check Execution Time
Min Max Average
Hosts 0.000 sec 0.070 sec 0.014 sec
Services 0.003 sec 1.100 sec 0.081 sec

Buffer Usage
In Use Max Used Total Available
0 0 4096


Ik weet niet zo wat ik aan bovenstaande nog kan verbeteren.
Dus mocht je wat zien.. ik ben al oog ;-)

[FireDrunk]

Ik zie 2-3 mysql threads met 400K/s schrijven. Als het hier om 4K operaties gaat, doet je MySQL server toch een dikke 200-300 IOPS. Dat is niet mals voor harddisks. Ik weet niet wat voor storage backend er onder zit, maar een SSD zou je hierin denk ik nog het meest helpen

Als je de huidige server van SSD's voorziet, zal dat je waarschijnlijk al genoeg winst opleveren.

[Thc_Nbl]

Hai FireDrunk, top bedankt voor je reactie.

Ik had al zo'n vermoeden dat het mysql was, ook daar valt niet zoveel meer te optimaliseren.
behalve de database naar een andere machine te zetten.
Tot zover bedankt alvast voor de input.

[FireDrunk]

Ik wijs je alleen in de goede richting. Mijn commentaar meteen voor waarheid aannemen is misschien wat voorbarig.

Probeer eens goed in kaart te brengen hoeveel IOPS je systeem daadwerkelijk verstookt, en reken uit hoeveel de storage die eronder hangt aan kan. Dat geeft je ook een veel beter beeld om je eventuele nieuwe server toekomstbestendig te maken.

[Thc_Nbl]

Ja, dat had ik begrepen, zit net even te kijken en ik zit zo op 400-600 tranfers/sec wat ik zie met nmon iotop en iozone

Als ik de sql en syslog daemon en logs van de machine zelf naar een andere bak gooi, ben ik er al lijkt mij, Ik ga er nog eens over nadenken.

Bedankt !