Bikkelen gebeurt pas na 2:00
:strip_icc():strip_exif()/u/111701/crop634d24c22c9ca.jpg?f=community)
:strip_icc():strip_exif()/u/122040/crop5b1e4d0886e95_cropped.jpeg?f=community)
:strip_icc():strip_exif()/u/25852/bowmore_18k.jpg?f=community)
De VMDK die je kan downloaden, kan je mee spelen en rommelen.
Als jij een productieomgeving wilt opzetten, dan moet je dus niet die VMDK gebruiken, maar zelf een eigen server installeren en configureren die voldoende capaciteit heeft voor de grootte van jouw omgeving. Zabbix is echt wel te gebruiken in een productieomgeving.
Vragen/opmerkingen
Privacy is something you can sell, but you can't buy back!
:strip_icc():strip_exif()/u/94769/horus.jpg?f=community)
Als het niks mag kosten qua licenties en je mag er niet heel veel uren in stoppen ben je snel klaar. Misschien je baas informeren dat dan het piepsysteem het beste is. Dan wacht je gewoon tot iemand piept dat iets het niet doet
Any errors in spelling, tact, or fact are transmission errors.
Dat is iets wat ik zelf dus niet prettig vind. Maakt het allemaal redelijk stressvoller en drukker.:
[...]
Als het niks mag kosten qua licenties en je mag er niet heel veel uren in stoppen ben je snel klaar. Misschien je baas informeren dat dan het piepsysteem het beste is. Dan wacht je gewoon tot iemand piept dat iets het niet doet
Misschien eens thuis een server opzetten om te kijken of deze wel werkt.
Keep it calm...en lek mig de zuk
Het gaat in eerste instantie ook om de basis dingen, de hoofdservers zitten hier allemaal in prtg....(dus dat loopt
). Ik maar ik had er graag alle servers in, en dan op een scherm in de ruimte dat het inzichtelijk is. Ook voor alle programmeurs hier.Keep it calm...en lek mig de zuk
Het leuke is, als dit bevalt kun je PRTG er uit flikkeren.:
[...]
Het gaat in eerste instantie ook om de basis dingen, de hoofdservers zitten hier allemaal in prtg....(dus dat loopt
Scheelt je weer geld.
Nóg makkelijker om de businesscase rond te krijgen dus. Oh, en ze hebben support. Je kunt ze inhuren, ook voor nieuwe templates. (Dat kost logischerwijs wél geld.)
Ná Scaoll. - Don’t Panic.
/u/18893/chrome_logo.png?f=community){kind=logo}
Collectd, Influxdb en Grafana hier, (in combinatie met nog wat bespoke code die meuk inschiet in influxdb), in combinatie met icinga2. Op de werkvloer hebben we tv's hangen met een pi eraan met coole grafiekjes uit grafana (doet het goed bij bezoekende klanten, want ziet er indrukwekkender uit dan het is
)Elastic Stack ben ik nu mee bezig om de logging netjes in te krijgen.
[Voor 14% gewijzigd door Chiron op 03-01-2019 09:43]
"Light thinks it travels faster than anything. It doesn't. For wherever light travels it finds darkness has got there first and is waiting for it."
Nee want hij heeft de gratis versie van PRTG draaien.:
[...]
Het leuke is, als dit bevalt kun je PRTG er uit flikkeren.
Scheelt je weer geld.
Dat een piepsysteem veel kost ben ik helemaal met je eens
@kromme Misschien in je business case meenemen wat PRTG gaat kosten als je die gaat uitbreiden? Ervanuitgaande dat je dat pakket al wel kent dus kennis opbouw/uren al gedekt zijn.
[Voor 5% gewijzigd door Oogje op 03-01-2019 10:09]
Any errors in spelling, tact, or fact are transmission errors.
Mee gespeeld, maar nooit meer dan dat. Om de een of andere reden 'klikt' dit bij mij nog niet echt. Volgens mij heeft Nagios daar zijn logserver op gebaseerd.
Ik ken partijen die Windows als een harde eis hebben wegens gebrek aan (breed binnen het team gedragen; een enkele hobbyist is wel te vinden
) kennis.Monitoring as a service is ook nog een optie. Voordeel is dat je het hele specialistische werk uitbesteedt aan een partij die daar verstand van heeft. Een partij waar ik goede ervaringen mee heb is Monitor Now.
--
Toevoeging voor de lijst: PIM+. Is bij ons eigenlijk door stom toeval op de radar gekomen (komt uit de facilities hoek) en wordt binnenkort aangeschaft. (andere opties waren de usual suspects).
[Voor 44% gewijzigd door ijdod op 03-01-2019 11:57]
Root don't mean a thing, if you ain't got that ping...
*autsj*
Uberhaupt, PRTG gebruiken zoals je het wíl gebruiken. Als je nu de helft of minder monitort van wat je eigenlijk zou moeten monitoren is dat al niet echt lekker.Dat een piepsysteem veel kost ben ik helemaal met je eens
@kromme Misschien in je business case meenemen wat PRTG gaat kosten als je die gaat uitbreiden? Ervanuitgaande dat je dat pakket al wel kent dus kennis opbouw/uren al gedekt zijn.
Ná Scaoll. - Don’t Panic.
Misschien eerst je baas overtuigen dat ie je die uren moet geven. Of zoals @unezra aangaf, een toko inhuren die dat voor je kan doen. Dat kost ook geld, en waarschijnlijk ben jij als werknemer toch net wat goedkoper dan een externe partij.
Veel in de config zitten neuzen, maar de service nog niet gestart dus. Lees de installation guide die @unezra linkte nog maar eens door
Zal 'm zo toevoegen.
:strip_exif()/u/290839/crop5b757283a589c_cropped.gif?f=community)
Nee inderdaad maar dan koop je toch een licentie? ja ze zijn prijzig maar je krijgt er wel wat voor terug. Nu moet je met linux aan de bak waar je geen kaas van hebt gegeten. De tijd die je nu al in een opvolger hebt besteed kost waarschijnlijk meer als een prtg licentie.
Wat is duur? Als je niks van linux weet er geen tijd hebt om dit te gaan doen weet ik wel wat duurder is..
@unezra ik weet dat zabix perfect voor je is
net als prtg voor mij 
[Voor 32% gewijzigd door HKLM_ op 03-01-2019 13:47]
👩🚀 -> Astronauts use Linux because you cant open Windows in space <- 🚀
Even omdat ik mezelf herken in de situatie waar je nu in zit:
1. Installeer CentOS7 (mijn voorkeur gaat uit naar minimale installatie maar voor beginners misschien handiger om Server with GUI optie te nemen.
2. Voer commando 'yum update' uit om alle pakketten te updaten.
3. Installeer & configureer de LAMP-stack:
yum install httpd
systemctl enable httpd && systemctl start httpd
systemctl start httpd
yum install mariadb mariadb-server
systemctl start mariadb && systemctl enable mariadb
mysql_secure_installation
De 'mysql_secure_installation' begint een prompt om je database in te richten en vraagt om een password. Deze heb je nog niet dus druk gewoon op enter. Vervolgens kun je een root wachtwoord voor je database kiezen. Klik vervolgens bij de vragen gewoon op enter om de default value te accepteren (vraagt dingen zoals disable remote root login en delete test database e.d.)
4. Commando invoeren: yum install php php-mysql
5. Zabbix repo installeren:
rpm -i https://repo.zabbix.com/z...ease-4.0-1.el7.noarch.rpm
5. Voer commando uit: yum install zabbix-server-mysql zabbix-web-mysql zabbix-agent
6. Voer nu het volgende commando in: sh
Dit brengt je naar de shell. Van hieruit voer je als volgt in: mysql -uroot -p
In de prompt voer je nu het wachtwoord in wat je eerder hebt gekozen (je zal je input niet terugzien).
shell> mysql -uroot -p
mysql> create database zabbix character set utf8 collate utf8_bin;
mysql> grant all privileges on zabbix.* to zabbix@localhost identified by 'wachtwoordhier';
mysql>flush privileges;
mysql> quit;
7. Schema setup en import data in Zabbix database die je hebt aangemaakt:
zcat /usr/share/doc/zabbix-server-mysql/create.sql.gz | mysql -uzabbix -p zabbix
In de prompt het wachtwoord van de database user zabbix invoeren.
Open /etc/zabbix/zabbix_server.conf
Zoeken naar
### Option: DBPassword
# Database password. Ignored for SQLite.
# Comment this line if no password is used.
#
# Mandatory: no
# Default:
# DBPassword=
Hekje weghalen en daar het wachtwoord invoeren van Zabbix-database.
Open /etc/httpd/conf.d/zabbix.conf (btw om tekst te editen gebruik ik het liefst vim, 'yum install vim')
Zoeken naar
php_value max_execution_time 300
php_value memory_limit 128M
php_value post_max_size 16M
php_value upload_max_filesize 2M
php_value max_input_time 300
php_value always_populate_raw_post_data -1
# php_value date.timezone Europe/Riga
Haal het hekje nogmaals weg en verander Europe/Riga naar Europe/Amsterdam. Opslaan (indien je vim gebruikt, 'i' om in insert mode aanpassingen te maken, esc om eruit te gaan. :x en dan enter om op te slaan. zoek anders de vi/vim handleiding erbij, of mocht je nano gebruiken dat.).
systemctl restart httpd
systemctl start zabbix-server
Let op: default staat selinux aan. Dit zal gegarandeerd zabbix blokkeren aangezien zabbix rechten nodig heeft zonder dat het de nodige security context heeft. Voor je doeleinden nu zou ik het gewoon uitschakelen. in /etc/selinux/config moet je het wijzigen van 'enforcing' naar 'disabled' (dacht ik). Doe deze handeling anders als eerst en start de server opnieuw op. Met sestatus kun je zien wat de status is van selinux.
Eenmaal zabbix-server.service gestart zou je via je webinterface erbij moeten kunnen. Ware het niet dat de firewalld waarschijnlijk ook dit tegen zal houden.
firewall-cmd --permanent --add-service=http
firewall-cmd --reload
Om even snel de http service toe te staan. Hoop dat ik niks heb gemist.
En hier gaat het mis, waar het in het begin ook mis ging. Hoewel ik blij ben met je hulp denk ik dat dit geen zabbix topic moet worden. Wellicht even via PM?:
[...]
Let op: default staat selinux aan. Dit zal gegarandeerd zabbix blokkeren aangezien zabbix rechten nodig heeft zonder dat het de nodige security context heeft. Voor je doeleinden nu zou ik het gewoon uitschakelen. in /etc/selinux/config moet je het wijzigen van 'targeted' naar 'disabled' (dacht ik). Doe deze handeling anders als eerst en start de server opnieuw op. Met sestatus kun je zien wat de status is van selinux.
Eenmaal zabbix-server.service gestart zou je via je webinterface erbij moeten kunnen. Ware het niet dat de firewalld waarschijnlijk ook dit tegen zal houden.
firewall-cmd --permanent --add-service=http
firewall-cmd --reload
Om even snel de http service toe te staan. Hoop dat ik niks heb gemist.
[root@localhost zabbix]# systemctl start zabbix-server
Job for zabbix-server.service failed because the control process exited with error code. See "systemctl status zabbix-server.service" and "journalctl -xe" for details.
[root@localhost zabbix]# systemctl status zabbix-server.service"
> ^C
[root@localhost zabbix]# systemctl status zabbix-server.service
â zabbix-server.service - Zabbix Server
Loaded: loaded (/usr/lib/systemd/system/zabbix-server.service; enabled; vendor preset: disabled)
Active: activating (auto-restart) (Result: exit-code) since Thu 2019-01-03 16:27:53 CET; 9s ago
Process: 21068 ExecStart=/usr/sbin/zabbix_server -c $CONFFILE (code=exited, status=1/FAILURE)
Jan 03 16:27:53 localhost.localdomain systemd[1]: Failed to start Zabbix Server.
Jan 03 16:27:53 localhost.localdomain systemd[1]: Unit zabbix-server.service entered failed state.
Jan 03 16:27:53 localhost.localdomain systemd[1]: zabbix-server.service failed.
Keep it calm...en lek mig de zuk
We zijn even doorgegaan per DM en bleek dat zcat /usr/share/...etc. niet helemaal goed was gegaan. Dus de zabbix data in database en schema opzet waren niet gerealiseerd. Helaas door een foutje van moi (gaf aan selinux uit te zetten maar fout gemaakt door aan te geven ‘targeting’ om te zetten naar disabled ipv ‘enforcing’ regel aan te passen). Krijg je wanneer je het even snel uit wilt tikken Krommert kreeg de machine vervolgens niet opgestart (wilde ook niet lukken met rescue ed), dus besloten om het geheel opnieuw te doen. Njah, zonder trial-and-error is er ook niet veel aan
Anyway, zelf ook veel interesse in dit topic. Gebruik Zabbix voor diverse grote projecten en omgevingen. Draait in dit soort projecten vaak om wat je kunt verkopen en Zabbix is een easy sell. Na veel vallen en opstaan heel mooi een eigen appliance van gemaakt voor productie doeleinden. Komt echt heel wat bij kijken wanneer je over omgevingen praat met honderden values per second.
Hebben jullie een alternatief gevonden voor de iReasoning MIB browser? Het is een heel gaaf stukje software om MIBs in te laden en vervolgens queries uit te voeren. Helaas is de gratis versie beperkt tot 10MIBs en SNMPv2.
Krommert kreeg de machine vervolgens niet opgestart (wilde ook niet lukken met rescue ed), dus besloten om het geheel opnieuw te doen. Njah, zonder trial-and-error is er ook niet veel aan Anyway, zelf ook veel interesse in dit topic. Gebruik Zabbix voor diverse grote projecten en omgevingen. Draait in dit soort projecten vaak om wat je kunt verkopen en Zabbix is een easy sell. Na veel vallen en opstaan heel mooi een eigen appliance van gemaakt voor productie doeleinden. Komt echt heel wat bij kijken wanneer je over omgevingen praat met honderden values per second.
Hebben jullie een alternatief gevonden voor de iReasoning MIB browser? Het is een heel gaaf stukje software om MIBs in te laden en vervolgens queries uit te voeren. Helaas is de gratis versie beperkt tot 10MIBs en SNMPv2.
Dat ja, had vrij weinig (lees: geen) ervaring met Linux en Zabbix. Denk je het eindelijk draaiende te hebben komen al die Zabbix processen zeiken. Finetunen etc. Op een gegeven moment klapte MariaDB eruit met meldingen over "too many connections" en dan weer daar achteraan rennen. Vervolgens de webinterface die ontzettend sloom was. Bleef maar tegen dingen aanlopen. Maar moet zeggen: top product
Hadden voor een bepaald project ook gekeken naar aan multi-master opzet. Iets gevonden vanuit de community wat was opgezet voor versie 2.4 oid, tjah. Hadden we niet veel aan aangezien we toen op 3.4 zaten. Nu voor een nieuwe omgeving 4.0 geïnstalleerd, nog niet aan toegekomen om de inventory te vullen maar ben benieuwd naar de verbeterpunten.
Welke syslog systemen gebruiken jullie trouwens? Heb in de omgevingen waarin ik werk behoefte aan een syslog met webinterface waar ik kan filteren op zaken als source e.d. (niet heel spannend). Heb de combinatie CentOS + Adiscon Loganalyzer nu al meerdere keren ingezet en het bevalt me prima. Beetje klooien in de CSS om de PayPal donation button weg te halen en je eigen logo in de header en het ziet er nog best gelikt uit. Ook heb ik ervoor gekozen om als source te kiezen voor diskfile (dus ik laat alles loggen naar een bestand) ipv de MariaDB te gebruiken. Met dat laatste ging het queryen echt ontzettend traag. Kan zijn dat ik het fout deed en niet goed had getuned oid. Maar sinds de overgang op diskfile based sources is het ophalen van de syslogs in de webview echt heel veel sneller.
:
[...]
Dat ja, had vrij weinig (lees: geen) ervaring met Linux en Zabbix. Denk je het eindelijk draaiende te hebben komen al die Zabbix processen zeiken. Finetunen etc. Op een gegeven moment klapte MariaDB eruit met meldingen over "too many connections" en dan weer daar achteraan rennen. Vervolgens de webinterface die ontzettend sloom was. Bleef maar tegen dingen aanlopen. Maar moet zeggen: top product
4.0 heeft echt een paar heel fijne features, ik wil graag updaten, maar zie een paar regels naar beneden...
Helaas op dit moment niets. Los van std. syslog op Linux en eventlog op Windows.
Heeft er mee te maken dat ik afgelopen jaar los van een grote migratie naar het datacenter, geen geld had voor welk project dan ook (en met zoiets is externe expertise toch op zijn minst handig om te kunnen inschakelen) en dit jaar opnieuw geen geld heb maar dat is vooral omdat ik aan het nadenken ben of we in 2020 óf de hele bende de cloud in gaan schuiven (en dus onze afdeling opheffen) óf een paar ton aan investeringen moeten doen om het in-house houden.
Vooralsnog neig ik naar het eerste, maar ik moet de eerste serieuze gesprekken nog voeren. Er is geen businesscase. Enkel een schatting van de kosten al we onze hele ICT in-house houden. Da's een paar ton. Heb ik 2 FTE aan ICTer nog niet meegeteld. (2 FTE as in, mijn collega en ik.)
Zolang we niet weten wát we gaan doen, staan alle grote en kleine projecten even on-hold en is het brandjes blussen. Dit jaar een bewuste keuze, vorig jaar gedwongen wegens geen budget om andere redenen.
Kortom, centrale syslog en een hoop andere projecten staan al een paar jaar (!) op de planning, maar met anderhalve schoenveter aan budget kan ik het niet uitvoeren en ontbreekt de motivatie het dan maar zelf te doen.
Ná Scaoll. - Don’t Panic.
Begrijpelijk, moet wel kunnen. Mocht iemand dus zoeken naar een leuk syslog systeem: Adiscon is een geinige. En nee krijg er niet voor betaald, was het maar zo
Kun je ook geinige dingen doen zoals foutieve inlogpogingen detecteren middels regex. Al kan dat natuurlijk ook direct op de lokale syslog van de machines zelf but soit.
Kun je ook geinige dingen doen zoals foutieve inlogpogingen detecteren middels regex. Al kan dat natuurlijk ook direct op de lokale syslog van de machines zelf but soit.
/u/169878/crop60f2c3c12a642_cropped.png?f=community)
Ik vond Kiwi syslog ook wel fijn werken, geen idee of het nog bestaat:
Begrijpelijk, moet wel kunnen. Mocht iemand dus zoeken naar een leuk syslog systeem: Adiscon is een geinige. En nee krijg er niet voor betaald, was het maar zo
Kun je ook geinige dingen doen zoals foutieve inlogpogingen detecteren middels regex. Al kan dat natuurlijk ook direct op de lokale syslog van de machines zelf but soit.
Dat is een oude bekende. Tegenwoordig onderdeel van Solarwinds. (niet per se een pluspunt:
[...]
Ik vond Kiwi syslog ook wel fijn werken, geen idee of het nog bestaat
)Root don't mean a thing, if you ain't got that ping...
Destijds ook naar gekeken. Dacht dat het een betaalde oplossing is en daardoor viel ie eigenlijk meteen af. IT mag niets kosten:
[...]
Ik vond Kiwi syslog ook wel fijn werken, geen idee of het nog bestaat
Dat heb je slecht management die terug naar de schoolbanken mag, want IT kost ook gewoon geld. Ik heb daarvoor zelf het vak Informatiseringseconomie gevolgd tijdens mij duale opleiding en daar leer IT budgetten maken:
[...]
Destijds ook naar gekeken. Dacht dat het een betaalde oplossing is en daardoor viel ie eigenlijk meteen af. IT mag niets kosten
Een manager kan wel proberen de kosten te beperken, daar is niks mee. Maar als er een goede business case is en de aanschaf goed onderbouwd wordt lijkt mij dat een manager het gewoon dient goed te keuren en aan te schaffen/opdracht daar toe geven.
[Voor 9% gewijzigd door Turdie op 04-01-2019 12:40]
Als je ICT goed bedrijft, levert het indirect geld op.:
[...]
Destijds ook naar gekeken. Dacht dat het een betaalde oplossing is en daardoor viel ie eigenlijk meteen af. IT mag niets kosten
Monitoring is, net als een ticket systeem, een van die -tig dingen die zichzelf heel snel terug verdienen.
Het is nooit verkeerd kritisch te kijken naar de kosten, maar essentiële zaken niet doen omdat ze geld kosten is vooral een teken van falend management en/of falende ICTers die het niet lukt het management te overtuigen / een goede case te schrijven.
Helaas weet ik er alles van, ik moet het ook vaak doen met anderhalve schoenveter. Soms vind ik dat leuk (het maakt je creatief), soms niet. (Het voelt nogal k*t vooral bezig te zijn met brandjes blussen.)
Ná Scaoll. - Don’t Panic.
Mijn insteek hierbij was ook (maar niet geheel duidelijk verwoord) dat @kromme tijd moet krijgen om wat (basis) Linuxvaardigheden op te kunnen bouwen. Je "100% zeker niet" behoeft alsnog wel enige nuance, denk ik. Je rekensom voor het inhuren van een toko versus @kromme zelf dingen laten uitzoeken komt natuurlijk in het voordeel van de toko uit; daarom zou het op de korte termijn financieel onverstandig zijn @kromme dit te laten uitzoeken. Op de lange termijn denk ik dat @kromme juist meer waarde toevoegt aan het bedrijf als ie deze zaken heeft geleerd (immers, blijkbaar heeft niemand anders Linux-ervaring op de zaak)
.Enfin, vooral niet andermans werk proberen te fixen. Als de baas (naar onze zeer goed geïnformeerde, alwetende mening) onverstandig is, is ie maar lekker onverstandig
.:strip_exif()/u/1839/avatar_drome.gif?f=community){kind=avatar}
DRoME LAN Gaming | iRacing profiel | Kia e-Niro 64kWh | Hyundai Ioniq 28kWh | PV 5.760Wp |
DRoME LAN Gaming | iRacing profiel | Kia e-Niro 64kWh | Hyundai Ioniq 28kWh | PV 5.760Wp |
I.p.v. dat je een licentie koopt, steek je het geld in training:
[...]
Nee inderdaad maar dan koop je toch een licentie? ja ze zijn prijzig maar je krijgt er wel wat voor terug. Nu moet je met linux aan de bak waar je geen kaas van hebt gegeten. De tijd die je nu al in een opvolger hebt besteed kost waarschijnlijk meer als een prtg licentie.
[...]
Wat is duur? Als je niks van linux weet er geen tijd hebt om dit te gaan doen weet ik wel wat duurder is..
@unezra ik weet dat zabix perfect voor je is
zo sla je 2 vliegen in 1 klap. PRTG moet ook geleerd worden (tenzij je hier al kennis voor hebt).Ook een optie maar als een licentie voor een bedrijf al duur is dan is een training dat vaak ook. PRTG kan door iedere helpdesk medewerker binnen een uur draaien zijn dus daar hoef je niet echt voor op training. Het meeste werk gaat zitten in de devices toevoegen die je wilt en de notificaties.:
[...]
I.p.v. dat je een licentie koopt, steek je het geld in training
[Voor 7% gewijzigd door HKLM_ op 24-01-2019 10:45]
👩🚀 -> Astronauts use Linux because you cant open Windows in space <- 🚀
:strip_icc():strip_exif()/u/79614/Family-Guy-Victory-is-Ours.jpg?f=community)
Exact dat NOC is waar ik het over heb.
Het wisselt wat hoe het beestje heet, ik heb ooit op een afdeling gezeten die "Operations Control Room" heette. Monitoring van 7 uur 's ochtends tot 11 uur 's avonds. Precies zoals beschreven.
En een NOC of vergelijkbaar iets zal afhankelijk van de wensen van de organisatie, vaker 24/7 draaien.
Ná Scaoll. - Don’t Panic.
Ik bedoel dus te zeggen dat bij grotere organisaties, de afdelingen die actief monitoren niet zelden *niet* de afdelingen zijn die de boel inrichten en/of reageren op alerts.
Het word ook vaak compleet uit elkaar getrokken, omdat het allemaal specialistenwerk is.
Tijdje bij een grotere telco gezeten, daar werden externen ingehuurd om de monitoring in te regelen (doorlopend en altijd parallel een nieuwe versie van de inregeling die de lopende versie trailt), die hadden niet te maken met het NOC dat de monitoring gebruikt en de beheerders zitten weer ergens anders.
Of monitoring word ingeregeld door 1 afdeling en diverse afdelingen krijgen hun eigen subset te zien maar hebben daar weer geen invloed op.
Fin, in kleinere organisaties ligt dat logischerwijs weer wat dichter tegen elkaar aan. Ik werk bij een MKB, monitoring hebben we initieel laten inregelen door een extern bedrijf (we hadden er de tijd niet voor), maar dagelijks beheer doen we zelf én we reageren zelf op alerts. Die tool is 100% ons feestje. Niemand anders doet iets met de meldingen. (2 ICTers in het hele bedrijf.)
Wel heeft het bord een mooie functie voor de rest van het bedrijf, alerts zijn zichtbaar, dat vinden de managers (en het bezoek dat ze krijgen), toch wel erg interessant.
Ná Scaoll. - Don’t Panic.
Heb met Zabbix "ketenmonitoring" geïmplementeerd.
Hierdoor is in een oogopslag duidelijk door welk element een verstoring wordt veroorzaakt. (krijg een melding van de metric waarvan iets mis is, zoals te zien op de rechter Linux VM). Daarnaast live metrics voor performance en resource gebruik van de essentiële elementen.
Doe helaas geen uitgebreide netwerkmonitoring, aangezien ik geen switches of routers in beheer heb
Enkel een ping met latency en packetloss voldoet voor mij.
Enige nadeel van dit soort schermen zijn:
1. Kost wat tijd om in te stellen.
2. Een complexe omgeving met veel servers wordt snel onoverzichtelijk.
Voor netwerken heb je overigens mogelijkheden om het overzichtelijk te houden. Bijvoorbeeld door een hoog over map te maken van de verschillende sites, waarbij kan worden doorgeklikt naar maps van de individuele site met daarop de individuele routers en switches.
------
Paar vraagje omtrent Zabbix:
1. Hoe voorkomen jullie dat er veel onnodige meldingen binnen komen als de Zabbix server wordt herstart/hervat? (Zabbix server is in mijn situatie een VM, die op pauze gaat tijdens een reboot van het host OS).
Krijg nu een bulk van onnodige meldingen omdat servers "down" zouden zijn geweest (Er kwam geen data binnen, want de Zabbix server was offline..) of van Zabbix processen die meer dan 75% bussy zijn..
2. Dependencies worden soms pas later herkend of worden juist eerder herkend als zijnde opgelost dan het afhankelijke probleem.
Hierdoor worden onnodige mails verstuurd, hoe kan dit worden voorkomen?
3. De Zabbix agent en server service is op Ubuntu niet erg betrouwbaar. Ik moet ze regelmatig handmatig starten na een reboot..
Ze zijn wel ingeschakeld met:
sudo update-rc.d zabbix-agent enable
sudo update-rc.d zabbix-server enable
[Voor 13% gewijzigd door Gijs007 op 27-01-2019 15:39]
AMD Ryzen 9 7950X | NZXT Kraken X63 | GIGABYTE X670E AORUS XTREME | G.Skill Trident Z Neo F5-6000J3038F16GX2-TZ5NR | Inno3D GeForce RTX 4090 iCHILL X3 | Corsair AX860i | 2 x WD Black NVMe SSD SN850 2TB | 1 x Intel Optane 900P 480GB | Corsair iCUE 5000T
AMD Ryzen 9 7950X | NZXT Kraken X63 | GIGABYTE X670E AORUS XTREME | G.Skill Trident Z Neo F5-6000J3038F16GX2-TZ5NR | Inno3D GeForce RTX 4090 iCHILL X3 | Corsair AX860i | 2 x WD Black NVMe SSD SN850 2TB | 1 x Intel Optane 900P 480GB | Corsair iCUE 5000T
Nice!
Dat wilde ik ook nog een keer doen.
Het is alleen even afhankelijk van de plannen van volgend jaar of ik het werkelijk nog ga doen, of dat ik de huidige implementatie door laat hobbelen. (Ik wil ook nog naar Zabbix 4, draaien nu nog op 3.2. Ook dat is afhankelijk van of het nog zin heeft. Stel dat we volgend jaar alles gaan outsourcen, ga ik niet dit jaar nog flink sleutelen aan Zabbix. Leuk, leerzaam, maar los van dat vrij nutteloos.)Niet. Wij updaten en rebooten al onze servers normaliter iedere maand, de Zabbix server en proxies (we hebben 1 master en 5 proxies) doe ik als een van de eerste. Ik weet dat 'ie na een reboot ongeveer 20-30 minuten nodig heeft om weer volledig bij zijn positieven te komen. Het onderhoud duurt normaliter een uur of 3, 4 dus door 'm als een van de eerste te doen weet ik dat mijn data betrouwbaar is tegen de tijd dat het onderhoud is afgerond.
Herkenbaar, grofweg 1 op de 4x is de autostart kapot. (Alleen de server component overigens, dus bij de master en proxies.) Het is een van de checks die ik daarom op de master en slaves doe als ze gereboot zijn. Ik doe een eenvoudige "ps aux | grep zabb | wc -l" en zie of ik voldoende processen zie. Uit mijn hoofd moeten dat er voor de master in ons geval rond of boven de 100 zijn en voor de proxies iets meer. Zie ik 10 of 20, weet ik dat er iets geklapt is.
Dus voer ik precies die acties uit, reboot en doe weer het "ps aux" riedeltje. Zie ik er dan wel genoeg, heb ik een goed gevoel dat het goed is gegaan.
Sure, ik kan uitzoeken waarom het af en toe mis gaat maar dan ben ik met wat pech uren of dagen aan het speuren terwijl me dit per onderhoud misschien 5 minuten kost. Voor ieder uur dat ik investeer in uitzoeken waarom het af en toe mis gaat, kan ik 12x onderhoud uitvoeren. Ofwel, 1 uur troubleshooten is het equivalent van 1 jaar aan updates en vrij zeker dat het troubleshooten me meer dan 1 uur kost. Dus doe ik het niet.
(Die reboot is er overigens om er voor te zorgen dat de tijdelijke fix werkt en dat daarna de Zabbix master en proxies *wel* opkomen bij een al dan niet geplande reboot. Ik wil zeker weten dat ze reboot-proof zijn. Dat werkt. Die fix werkt tenminste tot en met de volgende OS upgrade.)
Ná Scaoll. - Don’t Panic.
/u/327851/crop5aab95025cb0f_cropped.png?f=community)
/u/83460/crop5a57ddfc6dc19_cropped.png?f=community)
DRoME LAN Gaming | iRacing profiel | Kia e-Niro 64kWh | Hyundai Ioniq 28kWh | PV 5.760Wp |
Vandaag gestart met PIM+. Vanaf 11:00 uur begonnen met alle servers + switches en performance event monitors geïmplementeerd. Uitmuntend pakket! Naar de maan en terug
En dat gewoon agentless!
/u/125506/link-8bit.png?f=community)
Voor SNMP is er eerst een discover waarschijnlijk om de ondersteunde OIDs te krijgen. Daarna is het maar net hoe vaak je controleert. Wil je elke seconde weten wat er allemaal op de server gebeurt, of volstaat het dat je sommige items elke minuut ophaalt en andere per uur.
Maar dat heb je met de agent ook. Ik heb 't iig niet gemeten, al kan ik dat wel zo uit m'n Zabbix halen. Denk niet dat het veel is, anders hoor je gebruikers wel klagen dat het netwerk traag is.
Owja, shoot, dat is waar ook idd. De proxy verzameld alles wat de server zou verzamelen. Nooit een proxy ingericht, want niet nodig gehad.
Commandline FTW | Tweakt met mate
Zoals anderen ook zeiden, het hangt van je situatie af. In mijn omgeving pollen we regelmatig via de agent een kleine 100 servers; dat gaat prima. D'r zitten wat metrics ingebouwd (zie in de documentatie "item types") waardoor je de meeste interessante zaken gelijk kan gaan verzamelen, maar je kan 't ook zelf uitbreiden met UserParameters (dat doen we dan ook waar stock Zabbix niet in kan voorzien).
SNMP heeft een hiërarchische structuur (MIBs) en je moet maar net de juiste OIDs met een friendly name kunnen verbinden. Er zijn wat templates meegeleverd in Zabbix, en je moet denk ik zelf uitzoeken welke dan past bij je situatie. Ik zou niet uit m'n hoofd weten waar 1.2.51.25.21.2.1 naar refereert (als 't al ergens naar refereert). De Zabbix agent heeft (tenzij je het zelf via een UserParameter anders doet) human-readable keys.
Voor de "standaard" netwerkdevices (router, switches) gebruiken we SNMP, de meeste hosts kunnen een Zabbix agent draaien, dus daar draait dan de agent.
Nog een caveat die ik vandaag tegenkwam in Zabbix: bij item preprocessing kan je ten hoogste 10 capture groups in een reguliere expressie gebruiken.
Uiteindelijk had ik niet alle 15 capture groups nodig, maar geven die capture groups wel overall betere leesbaarheid.:strip_icc():strip_exif()/u/82975/crop633eccabd9275_cropped.jpg?f=community)
:strip_exif()/u/161098/devil-pc.gif?f=community)
:strip_exif()/u/24090/hekje.gif?f=community)
|=|=|=||=|=|=||=|=|=| http://www.vanwijck.com |=|=|=||=|=|=||=|=|=||=|=|=||=|=|=||=|=|=||=|=|=|
In mijn beleving gebruik je 2 termen die alleen indirect iets elkaar te maken hebben.
- Een alert is *alles* dat iets in je monitoring systeem triggert (Zabbix noemt dat een trigger)
- Een warning is een severity van een alert
Kijk je naar Zabbix, heb je de volgende severities:
- Not classified
- Information
- Warning
- Average
- High
- Disaster
Zie:
https://www.zabbix.com/do.../config/triggers/severity
Hun beschrijving zegt daarover dit:
Ik vertaal het even naar Zabbix terminologie (severities van triggers) en wat ik er van vind.
- "Een device met een redundante voeding waarvan 1 voeding uitvalt: alert" --> High. Actie is noodzakelijk, zeker binnen 24 uur want je redundancy is aangetast maar je hoeft er in de regel niet voor uit je bed gebeld te worden.
- "Een device waarvan de schijf net onder de threshold is gevallen: Warning" --> Warning, afhankelijk van je thresholds. (Wij hanteren in de regel 4 tresholds die beginnen op Warning, daarna Average, daarna High. Disaster is "disk 100% vol".
- "Een device is geheel onbereikbaar: Alert" --> Disaster (lijkt me geen verdere uitleg voor nodig, hiervoor moet je je bed uit gebeld worden *mits* het een mission critical systeem is. Niet kritieke systemen kunnen best een dag, soms dagen wachten. Daar zou je dus ook de severity van kunnen aanpassen of je werkproces.)
Ik denk dat het belangrijk is eerst de juiste terminologie te gebruiken hiervoor en niet te spreken over warnings en alerts, omdat dat compleet verschillende dingen binnen eenzelfde context (monitoring) zijn. Jullie monitoringsysteem zal denk ik ook niet de termen "warning" en "alert" gebruiken voor iets dat severities zijn.
Ná Scaoll. - Don’t Panic.
Je hebt geheel gelijk, maar dat is mijn collega schuld die deze continu zo gebruikt en ik het langzaam overneem van hem op deze manier.
De juiste terminologie voor ons monitoring pakket is als volgt:
| State | Critical Priority | Description | |
 | Failed | 1 | The service is not functioning at the required level. |
 | Warning | 2 | The service is functioning but not at an optimal level. For example, the service thresholds could be set up to indicate a Warning state when a service is not meeting its SLA. |
 | Normal | 3 | The service is sending valid data and functioning at an optimal level according to the specified thresholds. |
 | Misconfigured | 4 | There is a setup error in the service thresholds. For example, if there is a gap between the threshold values and the service, the service changes to the Misconfigured state. |
 | Stale Data | 5 | The central server has not received an update during the specified time period and the data is out-of-date or unavailable. This occurs if the agent does not send an update or the connection between the Agent and the central server is down. The status of a service can change from the No Data to the Stale Data state if the data was not received during the expected period. For example, a local service can change to the Stale Data state if there is a delay in installing the appropriate agent on the device. Local services of a device can change from the No Data state to the Stale Data state if there is a delay in installing the appropriate agent on the device. |
 | No Data | 6 | The service has not yet sent any data. All newly added services start in the No Data state and can take several minutes before sending any data. The No Data state is displayed if the state of the service cannot be read or if the service changes to Indeterminate. |
 | 7 | The device is not connected to the network. This occurs when a device experiences a 'friendly' shut down or during a scheduled downtime. If a service is disabled, then its status changes to the Disconnected state. |
Het probleem zit hem er dus in dat de beide voedingen separaat gemonitord worden en dus niet van elkaar weten in het monitoring pakket of er al een andere service in warning state gaat. Hierdoor heb je dus de keuze om voor beide voedingen alleen een warning te kiezen of voor beide een failed.
Wel kan ik dus een custom service aanmaken zodat ik beide voedingen via 1 service monitor waar ik dan wel de logica aan kan hangen dat ze het van elkaar weten.
Ik hoop dat ik het zo iets duidelijker heb gemaakt voor je. (excuses voor de verkeerde terminologie)
Top! Dat ziet er inderdaad een stuk logischer uit.
Tijd om je collega op de voeden dus. Ik zou het zo doen:
- Voor beiden een Warning (Niet alleen bij uitval, maar ook bij andere issues met die voeding, ze kunnen dacht ik vaak ook partial failen. Dat heb ik gisteren gemerkt met een fan. De fan zelf geeft een warning in Zabbix, maar draait gewoon door. Hij is dus niet helemaal stuk maar ILO vind wel dat er iets mis is, dus geeft 'ie alsnog een warning af.)
- Een failed wanneer beiden een warning geven ("event correlation" is meestal de term hiervoor)
- Sowieso zorgen dat je een failed hebt op het apparaat waar die voedingen in zitten (beide voedingen down betekend 100% dat je apparaat weg is, maar dat kun je dus niet meer uit die PSU's halen, die monitoring valt dan immers helemaal weg).
Zijn beiden 100% kapot / uitgevallen, zul je geen warning krijgen op de PSU's, het apparaat staat immers uit, maar bij een partial failed (die zeker een warning rechtvaardigd), wil je absoluut meteen een failed hebben. (Wij zouden dat als "Disaster" in Zabbix classificeren, that is, als we aan event correlation zouden doen. Doen we alleen niet.)
De failed op het apparaat zelf is evident. Apparaat stuk. Die moet er óók zijn, je wil niet alleen triggeren op je PSU's.
Ná Scaoll. - Don’t Panic.
Ik heb de Monitoring posts uit het Sysops topic even naar dit topic verplaatst
Vragen/opmerkingen
Privacy is something you can sell, but you can't buy back!
:strip_icc():strip_exif()/u/480920/crop560beea971308_cropped.jpeg?f=community)
Mensen zijn gelijk, maar sommige zijn gelijker dan andere | Humans need not apply
/u/4024/burne.png?f=community)
:strip_icc():strip_exif()/u/403106/3868954827-1_60x60.jpg?f=community)
/u/172597/crop5e1225c8b1011.png?f=community)
No trees were harmed in creating this message. However, a large number of electrons were terribly inconvenienced.