Centraal monitoren hardware klant omgevingen. Multitenant.

[foetus_]

Korte situatieschets.
Wij zijn een relatief vlug groeiend bedrijf waarbij onze focus momenteel aan het verschuiven is van super kleine omgevingen (1 server met 2 VM's, firewall, switch, AP en klaar..) naar de ietwat complexere omgevingen. (meerdere SAN, vSphere clusters, ..).

Momenteel gebruiken we AutoTask AEM (Datto) voor het monitoren van endpoints voornamelijk. Resultaat is dat we frequent issues tegenkomen met hardware, waar onze monitoring totaal niet op inspeelt. (het is mogelijk, maar laten we momenteel aannemen je beter niets gebruikt dan AEM )

We vangen dit nu op door on-site bij grotere omgevingen een LibreNMS omgeving op te zetten in combinatie met simpelweg SNMP V3 op alle apparatuur.
Dit is allemaal voorbereid in onze templates die aangepast worden per site. Alsook een chef install script opgezet met een bevriend bedrijf voor LibreNMS zelf.

Maar, dit is natuurlijk niet centraal. En voor onze interne helpdesk allemaal Chinees .

De zoektocht :
Sinds enkele jaren zijn we dus reeds op zoek naar een monitoring platform. Welke meer specifiek gericht is op het monitoren van hardware. We leveren geen software (tenzij je een RDS omgeving mee telt), dus specifek "is deze webservice actief" maakt ons weinig uit. (I know.. cru).
Dat VM1 down gaat, of cluster X zijn datastore 2 kwijt geraakt is wel interessant.

In de afgelopen jaren via Zabbix (spartaans opgezet), Pulseway, N-Able uiteindelijk terecht geraakt bij AutoTask met voornamelijk veel beloftes. Waarbij begin dit jaar de knoop doorgehakt is geweest om eindelijk eens iets meer gericht op onze noden te gaan zoeken.
Wat? Daar wringt het schoentje..


Leave it to the pro's young Padawan..
Er zijn intussen 2 professionele monitoring firma's gepasseerd.
Waarbij firma 1 de deadlines 3 maand overschreven heeft, met weinig resultaat. Voor het mooie bedrag van xuzq krijgen we een Prometheus omgeving in een docker omgeving, die een niet ingestelde Grafana van data voorziet van een Synology sensor voor temperatuur. En interface stats voor 3 switches. Super!
1 jaar sensor data bijhouden werd bij de setup al 10 dagen. En veel andere zaken beloofd waren bleken volgens de installateur al niet mogelijk. (laat staan CentOS als OS keuze ons wat wrevel gaf).

Firma 2 heeft na intern onderzoek, aangegeven onze noden te complex zijn om voor een haalbaar bedrag op te zetten. (AutoTask AEM kost ons momenteel zo'n 5.4K / jaar om een idee te geven).
En gaf bedrijf 1 aan als alternatief. (oh boy..).

Dus kom ik even mijn melk halen bij Tweakers.

Waar waren we naartoe op zoek?

• 1 centraal platform voor voornamelijk hardware & hypervisor monitoring.
• Multi tenant. Sommige eindklanten wensen toegang tot dit platform voor hun apparatuur.
• rapporten waar mogelijk. email (ons ticket systeem maakt tickets uit mails al, geen issue).
• Geen volwaardig RMM nodig. (maintenance windows, OS beheer, etc zijn allemaal niet nodig).
• HPE servers. ILO 4 en 5. (de algemene status, disk info, raid status, temp info, .)
• Switch beheer. ( de klassiekers, throughput & errors. beetje scaling. Config beheer .. gohja, bonus?).
• Firewall beheer. ( hierboven + temp & mem use. We gebruiken een FreeBSD gebaseerd systeem. SNMP is mogelijk. IPSEC /. OpenVPN tunnel status zou super zijn.. maar weeral bonus die complex zal zijn).
• communicatie is encrypted. Los van of data over een tunnel gaat of niet. (niet optioneel).
• In de toekomst mogelijke andere zaken. Integratie van Veeam back-up jobs bv. zodanig we 1 portaal hebben voor alles..
• Push of pull maakt mij niet uit. Ik wil wel data over langere periode kunnen bijhouden. Specifiek voor zaken te kunnen inschatten zoals data verbruik. En mogelijks disk failure bv. (latency omhoog + andere errors = disk gaat falen)

Alle is in principe mogelijk met simpelweg SNMP. Alle extra's worden wrappers & SSH zaken vermoedelijk.

We hebben site 2 site tunnels lopen momenteel voor een test project met PRTG voor alle omgevingen met minstens 1 recente server. (we houden intern een PRE-NAT IPSEC lijst bij hiervoor, netwerk technische zaken is hetgeen we wel doen ).
On-site agents zijn ook mogelijk voor de grotere omgevingen. Een kleine omgeving wensen we geen agent on-site te moeten hebben.
Dit was een van de hoofd redenen Prometheus ons aangeraden werd.
Daar konden we eventueel een PI of alternatief gaan plaatsen. Zodanig wanneer een klant "monitoring" koopt, hij ook fysisch een doosje ziet. (klinkt dom, maar ja.. het werkt zo wel).

We zijn geen devs. En hoewel de toekomst in netwerking ook wel wat scripting word. Heb ik geen zin, noch tijd om zelf een project op te zetten.
Daarmee we externe firma's ingehuurd hebben. Die er dus blijkbaar ook weinig van bakken.. of ik ben onrealistisch.

De bedoeling was we een werkende basis omgevingen hadden. Waarbij we aan de hand van een aantal sites een template konden bouwen voor alle resterende omgevingen.
Wat we monitoren, dashboard en dergelijke passen we zelf aan naar ervaring. Dit werd niet verwacht van de installateurs.

Er volgt nog een meeting de 6de met monitoring firma 1. Gezien we onze factuur resoluut weigeren voor hetgeen opgeleverd is. En dat ongeveer de helft van onze wensen niet mogelijk blijken na aanvang van het project. Het typische het kan allemaal tot de offerte getekend is..

Er is in ons pand ook een DevOps bedrijf aanwezig met OpenSource kennis. Welke momenteel Icinga gebruikt voor zijn datacenter omgeving te monitoren. En op de planning Icinga2 staan heeft voor een een klanten omgeving.
Maar in hoeverre dit schaalbaar is naar iets wij wensen is nog niet onderzocht.

Om even de opmerking voor te zijn. PRTG was onze tijdelijke nood oplossing. We wensen niet voor 10k+ / jaar een oplossing. We verkopen deze monitoring momenteel (te goedkoop) door naar onze klanten.
En zelfs klanten die niet betalen, wensen we op te nemen in een soort basis vorm van opvolging.
Een "prijzig" OS project aan de hand van setup uren, waarbij opvolging intern kan gebeuren geniet de voorkeur. 1 maal de zure appel bij wijze van spreken.

Ter info. Zowel cloud based als intern gehost is ons eigen DC was aanvaardbaar.

Leuk verhaal. Time is money.. En wat is nu je vraag?

Ik heb nagenoeg elke recente "welke monitoring" topic gelezen op reddit en co.
Ik wil niet de voordelen en nadelen per oplossing. Welke beter zijn data kan wegschrijven in de betere back-end. En HA scaled zonder veel problemen.

Simpel. Ik zoek wat ervaringen met gelijkaardige omgevingen. Ik zoek concrete info & feedback.

Is onze setup zo apart dat bedrijven die monitoring oplossingen bieden zich hierop vastbijten?
Hebben we toevallig wat minder geluk hierin met de gevonden firma's?
Is dit iets consultants wel vaker opzetten?

Wat gebruiken jullie, specifiek waarom die oplossing? En is dit in-house opgezet, of door een externe firma?

Welke oplossing leunen er het beste aan voor onze eisen. Dit laatste is blijkbaar serieus overschat geweest.
En ik als niet OpenSource DevOps ..


mijn excuses voor de blok tekst vermoedelijk vol fouten.
Ik gooi dit even onder Non-Windows.. leek me het beste. Verplaats indien nodig.

[ Voor 0% gewijzigd door foetus_ op 02-01-2020 17:51 . Reden: vmware toevoeging ]

[The Eagle]

Klinkt bij uitstek als een klusje voor een ELK of Splunk stack.
Heb zelf eens naar logz.io gekeken, maar er zijn meer aanbieders. Gezien je multitenant eisen en wensen wil je dit als een service afnemen en niet on prem; je wilt niet een platform dat alles afdekt, maar meerdere want per klant.

[Cyberonline]

Kijk eens naar HPSIM

[Hero of Time]

Ik zie geen reden waarom dit specifiek in NOS moet staan. Dit past eerder in PNS of SWS. Voor dat eerste is er al een verzameltopic, namelijk Het Grote Monitoring Topic. Ga daar eerst naar kijken, want daar wordt o.a. ook gesproken waarom men voor iets heeft gekozen.

Voor nu verhuis ik dit topic naar SWS, maar m'n collega's daar kunnen ook beslissen dat het meer bij PNS hoort.

[webgangster]

Sinds enkele jaren zijn we dus reeds op zoek naar een monitoring platform. Welke meer specifiek gericht is op het monitoren van hardware. We leveren geen software (tenzij je een RDS omgeving mee telt), dus specifek "is deze webservice actief" maakt ons weinig uit. (I know.. cru).
Dat VM1 down gaat, of cluster X zijn datastore 2 kwijt geraakt is wel interessant.

Met LibreNMS zou je ook via de IPMI tool je ILO kunnen connecten (tabblad IPMI) of je voegt gewoon de ILO toe aan LibreNMS. Zelf monitor ik de hardware van onze omgeving (300+ servers) met HPE OneView.

OneView is er in een gratis en betaalde vorm, met de gratis vorm kun je prima de HPE hardware monitoren.

Link: https://www.hpe.com/nl/nl/integrated-systems/software.html

[NLKornolio]

Wij gebruiken hier PAServer monitor. We gebruiken het zelf Niet multi-tenant maar wel meerdere instances voor prod en test domein.
Grotendeels data voedend vanuit snmp maar met standaard counters voor windows linux etc.
Je betaalt eenmalig per device.

[ Voor 12% gewijzigd door NLKornolio op 12-01-2020 02:50 ]

[RammY]

foetus_ schreef op donderdag 2 januari 2020 @ 17:46:
...

Om even de opmerking voor te zijn. PRTG was onze tijdelijke nood oplossing. We wensen niet voor 10k+ / jaar een oplossing. We verkopen deze monitoring momenteel (te goedkoop) door naar onze klanten.
En zelfs klanten die niet betalen, wensen we op te nemen in een soort basis vorm van opvolging.
Een "prijzig" OS project aan de hand van setup uren, waarbij opvolging intern kan gebeuren geniet de voorkeur. 1 maal de zure appel bij wijze van spreken.

...

Euh 10k+ per jaar?

Voor een XL1 license (unlimited sensors) betaal je 14K bij aanschaf.

When you purchase a PRTG license, you automatically get 12 months of maintenance free of charge.

So how much does it cost to renew your maintenance? The price for 12 months is 25% of your original license cost,
but you can save if you extend for longer:

Extend for 24 months and save 5%
Extend for 36 months and save 10% *best value*

Je betaald dan per opvolgend jaar zo'n 3K voor updates en support.

Wat ik tevens niet begrijp is dat je zelf al aangeeft dat je monitoring te goedkoop weg zet.
Dat betekend dus dat je monitoring zich niet gaat terugverdienen.
Misschien toch eens kijken of je die in balans krijgt.
Zo heel gek moeilijk lijkt me dat niet.

[johnkeates]

Combinatie van ELK, Prometheus, Grafana en SaltStack. Desnoods met NAPALM als je devices hebt die geen Proxy Minions hebben maar wel NAPALM informatie.

Stel dat je weinig mensen hebt en monitoring geen USP is van je bedrijf dan kan je het ook uitbesteden.

[foetus_]

Bedankt voor alle feedback.
Even vlug ter info : het originele project is terug op de sporen gezet. De firma is lid van een grotere groep waar we connecties mee hebben.

Verder wat vlugge info.
- Monitoring prijzen ga ik niet over. Geloof me dit een item is wel momenteel onderzocht wordt door hogerhand.
- 5K setup + 1K assistantie per jaar. Komt toch op een heel ander plaatje uit dan 14K + 3k jaarlijks. 26K over 5 jaar is nog altijd ver van goedkoop.
- HPE variante : we wensen meer te monitoren dan puur HPE.
- Genoeg monitoring topics gelezen. Zie ook intro. Ik vroeg specifiek feedback voor deze user case. Niet algemeen wij zijn fan van xyz topics. Dacht dit duidelijk was..

mag een slotje op.