SNMP Bandbreedte verbruik

[Acmosa]

Hoi,

Zoals de titel misleidend niet laat weten ben ik op zoek naar hoeveel bandbreedte snmp verkeer nu zelf in beslag neemt.
Ik kan me voorstellen (ik weet het zelfs zeker) dat dat niet zo veel zal zijn bij bijvoorbeeld 1 switch.
Maar stel je nu voor dat je een Network Management Center bent. Dit NMC monitort verschillende nodes. Met de huidige DWDM techniek ben je in staat om duidende nodes te monitoren en je wil per node precies weten wat hij aan het doen is en hoe hij dat doet. Bij duizenden nodes gaat al dat snmp verkeer ineens wel flink aantikken.

Nu ben ik op zoek naar een reken methode waarbij ik kan zeggen snmpverkeer * aantal nodes = bandbreedte monitor verkeer.

Op internet is genoeg te vinden over bandbreedte monitoring maar niet over de bandbreedte die door dat monitor verkeer word gegenereerd.

Alle hulp is zeer welkom.

[Stewie!]

Je wilt dus weten hoeveel bandbreete snmp zelf in beslag neemt?
Afhankelijk van een hoop factoren, niet?

Aantal polls/minuut
Aantal waarden die op de node moeten worden uitgelezen
etc

[Rolfie]

heb je zelf al eens gekeken met bijvoorbeeld een sniffer?

kan je precies zien hoeveel data er per poll heen en weer gestuurd word?

[Kabouterplop01]

Zoals al eerder vermeld, hoeveel polls/ min
En niet te vergeten welke mibs worden er uitgevraagd. misschien verwaarloosbaar, maar ook niet te vergeten hoe groot is je communitystring... Als je een comm string van laat zeggen 255 tekens gebruikt... beetje overdreven, maar het draagt bij..
een simpele snmp get doet niet zoveel. Een snmp set waarschijnlijk ook niet (ik kan me niet voorstellen dat je een heel device met SNMP wilt configureren)
maar een snmpwalk bijv. doet iets meer.

[TrailBlazer]

op mijn vorige werk waren we in staat op 10000 elementen te pollen mbv SNMP binnen de 5 minuten. Bandbreedte gebruik viel heel erg mee denk in (netto) enkele bits per seconde. Tool was overigens door het bedrijf zelf geschreven. met een halve megabit per seconde kan je al heel veel doen. Overigesn de beschikbare commerciele tools zijn vaak iets minder vriendelijk

[Acmosa]

Ik zie dat mijn vraag stelling nog erg vaag is.
Ik heb namelijk geen idee hoeveel verschillende gegevens ik wil weten per node.
Stel dat ik 10000 nodes heb. per node heb ik dan 20 elementen om uit te lezen.
dat zou dan 200000 verschillenden elementen zijn die eigenlijk realtime (24*7*365) gemonitord moeten worden. dus een poll tijd van zeg 5 seconden.
Is dit onrealistisch? Ik vraag me dit dus af omdat ik een rapport moet schrijven over de opzet van een NMC. Het is echter allemaal fictief wat dus inhoud dat ik vrijwel geen meewerking krijg van welk bedrijf dan ook (en ik heb het geprobeerd).

[Stewie!]

Ik denk dat je bij die aantallen eerder problemen hebt met de CPU op de uitleesserver dan met het netwerk

[Rolfie]

Ik heb ook een vermoeden dan een interval van 5 seconden niet haalbaar is. Je moet je ook vragen of dit echt nodig is voor alle objecten.

Wat wil je precies gaan monitoren, immers veel gegevens kan je ook goed meten met een interval van 1 min, of eventueel zelfs 5 min is reeel.

[Acmosa]

Ik moet eigenlijk binnen 1 minuut een storing kunnen meten. Dit is een eis van het project. Processor kracht net als opslag van de gegevens moet ook verwerkt worden in het verslag. Om hier een goede schatting in te maken moet ik natuurlijk weten met hoeveel data ik te maken krijg.

[Verwijderd]

Pinky schreef op zondag 08 mei 2005 @ 19:57:
Ik moet eigenlijk binnen 1 minuut een storing kunnen meten. Dit is een eis van het project. Processor kracht net als opslag van de gegevens moet ook verwerkt worden in het verslag. Om hier een goede schatting in te maken moet ik natuurlijk weten met hoeveel data ik te maken krijg.

Ik denk dat je je dan moet realiseren dat je apparatuur het zwaar kan krijgen met het voldoen aan al deze requests.

De oplossing zou dan wel eens erger kunnen zijn als het probleem.

[Coen Rosdorff]

Ik denk natuurlijk weer veel te simpel, maar toch:
Pak een pc, een server, een snmp-client, een snmp server en een packetsniffer (tcpdump, etherreal enz).
Doe een request van de gegevens die je wilt weten, wacht op de response, even in je packetsniffer het aantal bytes heen en weer tellen en klaar ben je.

Had je zonder hulp van Got precies geweten wat je weten wil. Als je niet over machines beschikt kan je ook met de protocol specificaties van snmp en udp/ip uitrekenen hoe groot de request en het antwoord zijn.

[Acmosa]

Het gaat hier voornamelijk om de theorie er achter. Ik heb nm de hardware niet voor een test opstelling.
Ik zal eens kijken of ik iets kan vinden over die protocol specificaties van snmp.
En als ik het zo bekijk is de maximale grootte dus 64KB.

Wat dus in het ergste geval 12 Gb aan verkeer gaat genereren per poll.
of in het minste geval 82 MB per poll.

Voor zover in ieder geval bedankt voor het meedenken.

[ Voor 28% gewijzigd door Acmosa op 10-05-2005 07:53 ]

[Verwijderd]

Een betere optie lijkt mij SNMP-traps te configureren. Hiermee stuurt het device zelf
een snmp bericht uit met een foutcode. Het monitoren kan je dan op 1 keer in de 5 minuten zetten
aangezien de meeste snmp waardes in bijvoorbeeld een cisco router gemiddelde zijn van de afgelopen 5 minuten.

[TrailBlazer]

het probleem alleen is dat als een device onbereikbaar is hij ook geen meldingenmeer zal sturen. Je zal dus altijd een actieve polling op moeten zetten.

[Acmosa]

Het feit dat het veel data gaat genereren en dat het veel processor kracht kost om de meldingen te verwerken is bekend en juist DE reden waarom er een appart management center wordt opgezet zodat dat dit soort berichten actief gemonitord kunnen worden voor een groot aantal devices.

[Joop]

Wij hebben hier hp Systems Insight Manager (SIM) draaien. Hiermee wordt o.a. d.m.v. SNMP gecommuniceerd met Agents op onze servers. In de database bevinden zich atm 982 devices. (Waarvan ongeveer de helft servers en de andere helft de ILO kaarten in de servers.)

Alle devices worden elke 5 minuten gepolled of ze nog online zijn. De servers sturen zelf SNMP traps d.m.v. de Agents bij problemen.

Als je geïntereseerd bent wil ik wel eens 24 uur een Performance Log aan zetten om te zien hoeveel netwerkverkeer er over heen gaat. De SIM server is dedicated voor deze taak en doet verder dus niets. (Je krijgt dan dus wel het totale verkeer, incl wat bijv gebruikt wordt voor het resolven van DNS namen en refreshen van Group Policies uit Active Directory voor de SIM server zelf.)

[Verwijderd]

Pinky schreef op zondag 08 mei 2005 @ 19:57:
Ik moet eigenlijk binnen 1 minuut een storing kunnen meten. Dit is een eis van het project. Processor kracht net als opslag van de gegevens moet ook verwerkt worden in het verslag. Om hier een goede schatting in te maken moet ik natuurlijk weten met hoeveel data ik te maken krijg.

als dit een eis is, dan is snmp al niet de goede tool. snmp is udp en komt dus niet gegarandeerd aan (in praktijk is dit te verwaarlozen, maar toch).

2de punt, wat is een storing? als je echte problemen (disk failures oid) bedoelt, dan zullen waarschijnlijk hier ook traps van ontvangen kunnen worden aka direct melding. Versta je hieronder zware belasting van een cpu, dan zal je dat idd moeten pollen.

bandbreedte verbruik is zeer minimaal, maar ik zou zeggen, pak een monitor proggie lees de volledige config van een machine uit en bekijk de resultaten over het bandbreedte gebruik.

[Gillie]

@Pinky,

Je had het over NMC, DWDM en nodes.

How about PM statistieken? Hetgeen data verkeer doet toenemen als men een slecht functionerende DWDM link heeft.

Uit eigen vakgebied interesse/nieuwsgierigheid over welke leverancier/operator praten we hier?

[Acmosa]

@Joop
Als je bereid bent dit te doen ben ik zeer geinteresseerd in de uitkomsten van de logs.

@iis5_rulez
De bedoeling is een fictief NMC opzetten, in raport vorm. Ik wil echter zelf wel weten wat ik dan aan het monitoren ben. Ik moet/mag zelf gegevens verzinnen, maar koffiedik kijken is niet mijn ding. Ik vind het bovendien een interessante vraag en ben dus benieuwd wat er bij komt kijken.

@iis5_rules en @Gillie
Ik weet zelf niet goed wat ik moet monitoren maar het gaat hier om een NMC dus ik verwacht dat ik alles ten alle tijden van het te monitoren netwerk moet weten. Er zijn vanuit de opdracht eisen gesteld dat er binnen 1 minuut een storing gelokaliseerd moet kunnen worden en binnen 5 minuten moet er een diagnose gesteld zijn. Dit creerd voor mij de uitdaging om dus zoveel mogelijk te monitoren binnen een zo kort mogelijk tijdbestek.

@Gillie
De leveranciers/providers zijn allemaal fictief. Het gaat hier om het opzetten van een NMC voor minimaal 3 telecom providers zoals bijvoorbeeld Vodafone, T-Mobile en KPN. Het eenige wat ik weet is dat er DWDM gebruikt word, het aantal nodes heb ik zelf maar verzonnen aan de hand van het aantal masten dat je door het land ziet staan.

[TrailBlazer]

ik dacht dat er op een kleine mast gewoon een isdn pri op werd aangesloten niks dwdm gewoon koper. Heb je al eens gewoon geprobeerd te bellen naar een van die providers ??

[Gillie]

Okee, fictief...

Monitoring van DWDM netwerken: Bewaking van de verbindingen en Qos.

De nodes zullen SNMP traps genereren in geval van gestoorde verbindingen. Je zal zien dat SNMP bandbreedte minimaal is. Verder is polling noodzakelijk om vast te stellen of de nodes met het NMS kunnen communiceren.
Het uitlezen van configuraties met SNMP is niet zo relevant, evenals optische signaal niveaus en/of temperatuur sensoren. Deze zijn redelijk stabiel.

Als je echt fictief een NMC aan het opzetten bent: HVAC controle, toegangscontrole, waterdetectie, voedingsspanning monitoring, accu capacteit controle, NSA monitoring en OTDR test units bijvoorbeeld?

[Acmosa]

@Trailblazer
Ik heb nog geen contact opgenomen met een provider, ik had contacten met motorola maar die zijn helaas vastgelopen toen ze hoorde dat het voor en studie opdracht was.

@Gillie
Bedankt voor je reactie, nu heb ik wat meer concrete gegevens waar ik info over kan gaan opzoeken.

[Joop]

Perflog een nachtje laten lopen op onze SIM Server. Specs zoals eerder gemeld.

De server heeft een gemiddelde data transfer van 65 kbyte/sec. Gemeten op de Bytes Total/sec counter. Dat is dus upload en download bij elkaar. Van dit verkeer is ongeveer 30% upload en 70% download. Elke 5 minuten een spike van ronde de 80 kbyte/sec tijdens de poll interval. Tussen de spikes in een continue stroom van zo'n 35 kbyte/sec.

Al met al nauwlijks netwerkverkeer dus voor een normaal Ethernet netwerk.

Als je rekent met 1000 devices voor onze SIM server en het gemiddelde van 65 kbyte/sec kom je dus per host uit op 0,065 kbyte/sec aan bandbreedte.

Volgens mij is het nog steeds erg lastig om hier verder mee te rekenen aangezien er heel veel variabelen zijn die in elke omgeving anders kunnen zijn. Iig kun je volgens mij heel veel devices monitoren zonder dat bandbreedte een probleem wordt. Elke 5 seconden pollen lijkt me overgens extreem overdreven. 1x per minuut is al erg vaak imo.

[ Voor 23% gewijzigd door Joop op 13-05-2005 13:51 ]

[Acmosa]

Gelukkig mogen wij zelf bepalen wat noodzakelijk is.
Ik wil je in ieder gavel hartelijk bedanken voor je info. Deze gegevens maken het toch wat meer concreet en realistisch.

[Wunk]

Wij pollen elke 5 minuten zo'n 150 devices via snmp, waar disk, cpu, nic en load word uitgelezen..

Hier zitten 9 24-poorts switches en een 48 poorts switch bij..

Traffic komt nauwelijks boven de 30Kbit/s

Minimaal dus..