[Linux] Netwerk traffic analyze

[Eastern]

Na enige tijd zoeken vraag ik het hier.

Wij zijn op zoek naar een programma voor Linux (Slackware 9.0 gebruiken we) wat het netwerkverkeer kan analyzeren. Het gaat niet om het totaal, maar ik wil graag weten wat de verschillende services gebruiken.

Er moet dus een splitsing komen naar bijvoorbeeld het volgende:

smb (ja, is een webserver maar er komt veel broadcast langs die wel gedropped wordt maar die je toch ontvangt door de Windows hosters)
http
https
pop3
pop3s
smtp
imap
imaps
ftp
ssh
overige

Dit moet liefst per dag / week / maand opvraag baar zijn. Een webinterface is leuk, maar niet perse noodzakelijk. Als ik het maar kan zien. Per service graag de kbs, % per periode. Misschien is het handig als ik gelijk de ip's erbij krijg die het extreme verkeer veroorzaken. ==> per service per ip is dan ook wel aardig, en gelijk gesorteerd.

Nog even verder denkend: misschien kan ik het zelf ook maken met perl en snmp, maar van snmp heb ik nog niet zoveel verstand. Ben benieuwd naar jullie suggesties.

[Verwijderd]

SMB is geen webserver, het is je netbios daemon.. die broadcasts die je ontvangt, zijn "verkenningen van de netwerkomgeving" van windows..

[on-topic]
Om te kijken wat de verschillende services gebruiken, kan je niet simpelweg uit /proc een paar getalletjes uitlezen, maar moet de kernel in prominocious-mode (of zo) geplaatst worden zodat ie alle packets gaat readen. Hiervoor kan je mooi tcpdump gebruiken, vervolgens deze gegevens in een filetje dumpen en parsen met een eigengemaakt scriptje.. Dit is niet zo heel moeilijk te doen mijns inziens, succes!

[Verwijderd]

Nog een kleine additie: SNMP is inderdaad leuk, maar daar heb je een emulatie daemon voor nodig (heb ik ooit gelezen), aangezien SNMP volgens mij voor routers/switches gemaakt is. Als je zoiets draaiend hebt kan je MRTG gebruiken voor het analyzen van de data.

[Eastern]

SMB is geen webserver, het is je netbios daemon.. die broadcasts die je ontvangt, zijn "verkenningen van de netwerkomgeving" van windows..

Ik bedoel: het is een webserver, maar er komt smb verkeer langs. Dan wil je wel graag zien wat er nu aan smb langs is gekomen. Zelf draai ik uiteraard geen smb op de webserver, en smb is inderdaad geen webserver. Nu wel duidelijk?

:: Het gaat om het verkeer per poort in kaart te krijgen ::

[ Voor 2% gewijzigd door Eastern op 04-07-2003 09:24 . Reden: typo ]

[Equator]

Verwijderd schreef op 04 July 2003 @ 09:06:
Nog een kleine additie: SNMP is inderdaad leuk, maar daar heb je een emulatie daemon voor nodig (heb ik ooit gelezen), aangezien SNMP volgens mij voor routers/switches gemaakt is. Als je zoiets draaiend hebt kan je MRTG gebruiken voor het analyzen van de data.

SNMP is een IP protocol. En kan een heleboel gegevens ophoesten.
Echter is het niet bedoeld om per protocol de gegevens uit te lezen.

Wat snmp wel kan is het gebruik van de adapter uitlezen.

Voor de specifieke gegevens van de verschillende tcp/udp protocollen zal je inderdaad tcpdum kunnen gebruiken, of ergens een tcp/ip logging vandaan halen.

Misschien dat je op /. wat kan vinden.

IIG denk ik dat dit niet onder PNS hoort, misschien meer onder NOS of anders NT.

[Verwijderd]

/me snapt nu
Is het niet veel onderhoudender (en leuker) zoiets zelf te maken?
Rechtstreeks uit de tcpdump manpage:

code:

        expression
              selects  which  packets  will  be  dumped.   If  no
              expression is given, all packets on the net will be
              dumped.   Otherwise, only packets for which expres­
              sion is `true' will be dumped.

              ber) preceded by one or more qualifiers.  There are
              three different kinds of qualifier:

              type   qualifiers  say  what  kind  of thing the id
                     name or number refers  to.   Possible  types
                     are  host,  net and port.  E.g., `host foo',
                     `net 128.3', `port 20'.  If there is no type
                     qualifier, host is assumed.

              dir    qualifiers  specify  a  particular  transfer
                     direction  to  and/or  from  id.    Possible
                     directions  are src, dst, src or dst and src
                     and dst.  E.g., `src foo', `dst net  128.3',
                     `src  or dst port ftp-data'.  If there is no
                     dir qualifier, src or dst is  assumed.   For
                     `null' link layers (i.e. point to point pro­
                     tocols such as slip) the  inbound  and  out­
                     bound  qualifiers  can  be used to specify a
                     desired direction.

              proto  qualifiers restrict the match to a  particu­
                     lar  protocol.   Possible protos are: ether,
                     fddi, tr, ip, ip6, arp,  rarp,  decnet,  tcp
                     and  udp.   E.g.,  `ether src foo', `arp net
                     128.3', `tcp port 21'.  If there is no proto
                     qualifier, all protocols consistent with the
                     type are assumed.   E.g.,  `src  foo'  means
                     `(ip  or  arp  or rarp) src foo' (except the
                     latter is not legal syntax), `net bar' means
                     `(ip  or arp or rarp) net bar' and `port 53'
                     means `(tcp or udp) port 53'.

De expressie die je meegeeft bepaalt dus welke port wordt gechecked. Sla deze info op en analyseer . Je eigen SNMP...

[Eastern]

reactie op rhand0z

Dan moet dus altijd tcpdump aanstaan? En dan wordt de log ook wel erg groot denk ik. Zeker als je kijkt hoeveel er langs komt in tcpdump. Of zie ik het nu verkeerd?

[mkool]

Probeer eens iptraf in statistical breakdown mode.

[Verwijderd]

Dat klopt, maar je zegt zelf dat je per-ip, per-poort, per-tijdstip alle gegevens wilt gaat opslaan. De logs hoeven niet zo groot te worden, als je ze maar dagelijks flushed en de data die je gekregen hebt bijvoorbeeld per-uur opslaat. Dan is de grootte van de database/logfiles nog te overzien.

[edit]
IPtraf is langzaam.. het kost veel te veel resources

[ Voor 14% gewijzigd door Verwijderd op 04-07-2003 09:32 ]

[hennink]

Eastern schreef op 04 July 2003 @ 09:26:
reactie op rhand0z

Dan moet dus altijd tcpdump aanstaan? En dan wordt de log ook wel erg groot denk ik. Zeker als je kijkt hoeveel er langs komt in tcpdump. Of zie ik het nu verkeerd?

Als je nu doet tcpdump -lijstmetargs | shellscript.sh
heb je geen last van een logbestand dat je moet uitlezen.

[Oezie Woezie]

zoiets bedoel je. ben ik ooit is mee bezig geweest, met freebsd en ipfw en count met rrdtool.
is nog lang niet perfect, maar misschien dat je het verder kan uitwerken.

[Eastern]

Wil je de source hier posten? Ziet er inderdaad naar uit dat ik dat wil hebben

Alleen wil ik de totalen weten, en niet het gemiddelde.

[ Voor 27% gewijzigd door Eastern op 04-07-2003 15:22 ]

[blaataaps]

ipac-ng voldoet aan een hoop van je eisen volgens mij. Je voert ipac-ng een config, en hij maakt er iptables-regels van die alleen maar tellen, en verder niks. Die counters leest hij per 5 minuten uit (of per welke tijd je maar wilt) dmv cron. Je kunt dan per timeframe van 5 minuten opvragen welke service hoeveel gebruikt heeft. Als je alle logs bewaart, kun je bij wijze van spreken opvragen hoeveel pop3 je op 1 maart 2003 tussen 12:00 en 12:05 aan traffic verbruikt heeft.
Er is geloof ik ook een webinterface die er mooie grafiekjes van maakt, maar met een klein beetje moeite is dat zelf ook eenvoudig te realiseren met behulp van rrdtool.
Klein voorbeeldje van output:

code:

  total in all                                    :           2884M
  total out all                                   :           3919M
  incoming eth0                                   :           2704M
  outgoing eth0                                   :            866M
  incoming eth1                                   :            180M
  outgoing eth1                                   :           3052M
  outgoing smb                                    :            693M
  incoming smb                                    :             19M

Je kunt alles wat je kunt verzinnen met iptables loggen, dus per poort/host/interface/richting .

[ Voor 38% gewijzigd door blaataaps op 04-07-2003 15:41 ]

[Oezie Woezie]

Eastern schreef op 04 July 2003 @ 15:21:
Wil je de source hier posten? Ziet er inderdaad naar uit dat ik dat wil hebben

Alleen wil ik de totalen weten, en niet het gemiddelde.

totaal getallen is geenprobleem hoor , 1e kolom is LAST, 2e in AVERAGE, 3e in MAX en de laatste is totaal van de periode.(in dit geval de laatste 24 uur)

code:

#plaatje maken :)
#!/bin/sh
rrdtool graph /home/httpd/html/GoT.png --start -1D -a PNG -w 600 -h 400 -v Byte/s -t Traffic \
DEF:totaalin=totaal.rrd:in:AVERAGE \
"CDEF:totaaldagin=totaalin,86400,*" \
DEF:totaal=totaal.rrd:out:AVERAGE \
"CDEF:totaaldagout=totaal,86400,*" \
"CDEF:totaalout=totaal,-1,*" \
DEF:httpin=http.rrd:in:AVERAGE \
DEF:http=http.rrd:out:AVERAGE \
"CDEF:httpout=http,-1,*" \
DEF:httpserverin=http.rrd:serverin:AVERAGE \
DEF:httpserver=http.rrd:serverout:AVERAGE \
"CDEF:httpserverout=httpserver,-1,*" \
"CDEF:httpdagin=httpin,86400,*" \
"CDEF:httpdagout=http,86400,*" \
"CDEF:httpserverdagin=httpserverin,86400,*" \
"CDEF:httpserverdagout=httpserver,86400,*" \
AREA:httpin#00FFFF:"HTTP In     " \
GPRINT:httpin:LAST:"%6.2lf %sB/s" \
GPRINT:httpin:AVERAGE:"%6.2lf %sB/s" \
GPRINT:httpin:MAX:"%6.2lf %sB/s" \
GPRINT:httpdagin:AVERAGE:"%6.2lf %sB\n" \
AREA:httpout#0099FF:"HTTP Out    " \
GPRINT:http:LAST:"%6.2lf %sB/s" \
GPRINT:http:AVERAGE:"%6.2lf %sB/s" \
GPRINT:http:MAX:"%6.2lf %sB/s" \
GPRINT:httpdagout:AVERAGE:"%6.2lf %sB\n" \
AREA:httpserverin#00CCFF:"Apache In   " \
GPRINT:httpserverin:LAST:"%6.2lf %sB/s" \
GPRINT:httpserverin:AVERAGE:"%6.2lf %sB/s" \
GPRINT:httpserverin:MAX:"%6.2lf %sB/s" \
GPRINT:httpserverdagin:AVERAGE:"%6.2lf %sB\n" \
AREA:httpserverout#0066FF:"Apache Out  " \
GPRINT:httpserver:LAST:"%6.2lf %sB/s" \
GPRINT:httpserver:AVERAGE:"%6.2lf %sB/s" \
GPRINT:httpserver:MAX:"%6.2lf %sB/s" \
GPRINT:httpserverdagout:AVERAGE:"%6.2lf %sB\n" \
DEF:dnsin=dns.rrd:in:AVERAGE \
DEF:dns=dns.rrd:out:AVERAGE \
"CDEF:dnsout=dns,-1,*" \
"CDEF:dnsdagin=dnsin,86400,*" \
"CDEF:dnsdagout=dns,86400,*" \
STACK:dnsin#FFFF00:"DNS In      " \
GPRINT:dnsin:LAST:"%6.2lf %sB/s" \
GPRINT:dnsin:AVERAGE:"%6.2lf %sB/s" \
GPRINT:dnsin:MAX:"%6.2lf %sB/s" \
GPRINT:dnsdagin:AVERAGE:"%6.2lf %sB\n" \
STACK:dnsout#FF9900:"DNS Out     " \
GPRINT:dns:LAST:"%6.2lf %sB/s" \
GPRINT:dns:AVERAGE:"%6.2lf %sB/s" \
GPRINT:dns:MAX:"%6.2lf %sB/s" \
GPRINT:dnsdagout:AVERAGE:"%6.2lf %sB\n" \
DEF:pop3in=pop3.rrd:in:AVERAGE \
DEF:pop3=pop3.rrd:out:AVERAGE \
"CDEF:pop3out=pop3,-1,*" \
"CDEF:pop3dagin=pop3in,86400,*" \
"CDEF:pop3dagout=pop3,86400,*" \
STACK:pop3in#00FF00:"POP3 In     " \
GPRINT:pop3in:LAST:"%6.2lf %sB/s" \
GPRINT:pop3in:AVERAGE:"%6.2lf %sB/s" \
GPRINT:pop3in:MAX:"%6.2lf %sB/s" \
GPRINT:pop3dagin:AVERAGE:"%6.2lf %sB\n" \
STACK:pop3out#009900:"POP3 Out    " \
GPRINT:pop3:LAST:"%6.2lf %sB/s" \
GPRINT:pop3:AVERAGE:"%6.2lf %sB/s" \
GPRINT:pop3:MAX:"%6.2lf %sB/s" \
GPRINT:pop3dagout:AVERAGE:"%6.2lf %sB\n" \
DEF:smtpin=smtp.rrd:in:AVERAGE \
DEF:smtp=smtp.rrd:out:AVERAGE \
"CDEF:smtpout=smtp,-1,*" \
"CDEF:smtpdagin=smtpin,86400,*" \
"CDEF:smtpdagout=smtp,86400,*" \
STACK:smtpin#FFCCFF:"SMTP In     " \
GPRINT:smtpin:LAST:"%6.2lf %sB/s" \
GPRINT:smtpin:AVERAGE:"%6.2lf %sB/s" \
GPRINT:smtpin:MAX:"%6.2lf %sB/s" \
GPRINT:smtpdagin:AVERAGE:"%6.2lf %sB\n" \
STACK:smtpout#FF99FF:"SMTP Out    " \
GPRINT:smtp:LAST:"%6.2lf %sB/s" \
GPRINT:smtp:AVERAGE:"%6.2lf %sB/s" \
GPRINT:smtp:MAX:"%6.2lf %sB/s" \
GPRINT:smtpdagout:AVERAGE:"%6.2lf %sB\n" \
DEF:ftpin=ftp.rrd:in:AVERAGE \
DEF:ftp=ftp.rrd:out:AVERAGE \
"CDEF:ftpout=ftp,-1,*" \
"CDEF:ftpdagin=ftpin,86400,*" \
"CDEF:ftpdagout=ftp,86400,*" \
STACK:ftpin#00CC99:"FTP In      " \
GPRINT:ftpin:LAST:"%6.2lf %sB/s" \
GPRINT:ftpin:AVERAGE:"%6.2lf %sB/s" \
GPRINT:ftpin:MAX:"%6.2lf %sB/s" \
GPRINT:ftpdagin:AVERAGE:"%6.2lf %sB\n" \
STACK:ftpout#009999:"FTP Out     " \
GPRINT:ftp:LAST:"%6.2lf %sB/s" \
GPRINT:ftp:AVERAGE:"%6.2lf %sB/s" \
GPRINT:ftp:MAX:"%6.2lf %sB/s" \
GPRINT:ftpdagout:AVERAGE:"%6.2lf %sB\n" \
DEF:msnin=msn.rrd:in:AVERAGE \
DEF:msn=msn.rrd:out:AVERAGE \
"CDEF:msnout=msn,-1,*" \
"CDEF:msndagin=msnin,86400,*" \
"CDEF:msndagout=msn,86400,*" \
STACK:msnin#99FF00:"MSN In      " \
GPRINT:msnin:LAST:"%6.2lf %sB/s" \
GPRINT:msnin:AVERAGE:"%6.2lf %sB/s" \
GPRINT:msnin:MAX:"%6.2lf %sB/s" \
GPRINT:msndagin:AVERAGE:"%6.2lf %sB\n" \
STACK:msnout#99CC00:"MSN Out     " \
GPRINT:msn:LAST:"%6.2lf %sB/s" \
GPRINT:msn:AVERAGE:"%6.2lf %sB/s" \
GPRINT:msn:MAX:"%6.2lf %sB/s" \
GPRINT:msndagout:AVERAGE:"%6.2lf %sB\n" \
LINE1:totaalin#000000:"Traffic In  " \
GPRINT:totaalin:LAST:"%6.2lf %sB/s" \
GPRINT:totaalin:AVERAGE:"%6.2lf %sB/s" \
GPRINT:totaalin:MAX:"%6.2lf %sB/s" \
GPRINT:totaaldagin:AVERAGE:"%6.2lf %sB\n" \
LINE1:totaalout#000000:"Traffic Out " \
GPRINT:totaal:LAST:"%6.2lf %sB/s" \
GPRINT:totaal:AVERAGE:"%6.2lf %sB/s" \
GPRINT:totaal:MAX:"%6.2lf %sB/s" \
GPRINT:totaaldagout:AVERAGE:"%6.2lf %sB\n" 
=========================================================================
# ipfw rules aanmaken
ipfw add 100 count ip from any to any in via isp0       # al het inkomende verkeer via isp0(ISDN-Dial-up)
ipfw add 200 count ip from any to any out via isp0      # al het uitgaande verkeer via isp0(ISDN-Dial-up)

ipfw add 300 count tcp from any 80 to any in via isp0       # al het inkomende http verkeer(answer) via isp0
ipfw add 400 count tcp from any to any 80 out via isp0      # al het uitgaande http verkeer(request) via isp0

ipfw add 500 count tcp from any to any 80 in via isp0       # al het inkomende http verkeer(request) voor webserver via isp0
ipfw add 600 count tcp from any 80 to any out via isp0      # al het uitgaande http verkeer(answer) voor webserver via isp0

ipfw add 700 count tcp from any 25 to any in via isp0       # al het inkomende smtp verkeer(answer) via isp0
ipfw add 800 count tcp from any to any 25 out via isp0      # al het uitgaande smtp verkeer(request) via isp0

ipfw add 1100 count tcp from any 110 to any in via isp0     # al het inkomende pop3 verkeer(answer) via isp0
ipfw add 1200 count tcp from any to any 110 out via isp0    # al het uitgaande pop3 verkeer(request) via isp0

ipfw add 1500 count udp from any 53 to any in via isp0      # al het inkomende dns verkeer(answer) via isp0
ipfw add 1600 count udp from any to any 53 out via isp0     # al het uitgaande dns verkeer(request) via isp0

ipfw add 1900 count tcp from any 21 to any in via isp0      # al het inkomende ftp verkeer(answer) via isp0
ipfw add 2000 count tcp from any to any 21 out via isp0     # al het uitgaande ftp verkeer(request) via isp0

ipfw add 2700 count tcp from any 1863 to any in via isp0    # al het inkomende msn verkeer(answer) via isp0
ipfw add 2800 count tcp from any to any 1863 out via isp0   # al het uitgaande msn verkeer(request) via isp0
=========================================================================
#rrd files aanmaken, ik heb gekozen voor een iets een eigen .rrd file(je kan ook alles in 1 .rrd mikken die word dan wel groot, nu zijn ze 188KB per stuk)
rrdtool create totaal.rrd --step 300 DS:in:DERIVE:600:0:U DS:out:DERIVE:600:0:U RRA:MAX:0.5:1:600 RRA:MAX:0.5:6:700 RRA:MAX:0.5:24:775 RRA:MAX:0.5:288:797 RRA:AVERAGE:0.5:1:600 RRA:AVERAGE:0.5:6:700 RRA:AVERAGE:0.5:24:775 RRA:AVERAGE:0.5:288:797 

rrdtool create http.rrd --step 300 DS:in:DERIVE:600:0:U DS:out:DERIVE:600:0:U DS:serverin:DERIVE:600:0:U DS:serverout:DERIVE:600:0:U RRA:MAX:0.5:1:600 RRA:MAX:0.5:6:700 RRA:MAX:0.5:24:775 RRA:MAX:0.5:288:797 RRA:AVERAGE:0.5:1:600 RRA:AVERAGE:0.5:6:700 RRA:AVERAGE:0.5:24:775 RRA:AVERAGE:0.5:288:797 

rrdtool create dns.rrd --step 300 DS:in:DERIVE:600:0:U DS:out:DERIVE:600:0:U DS:serverin:DERIVE:600:0:U DS:serverout:DERIVE:600:0:U RRA:MAX:0.5:1:600 RRA:MAX:0.5:6:700 RRA:MAX:0.5:24:775 RRA:MAX:0.5:288:797 RRA:AVERAGE:0.5:1:600 RRA:AVERAGE:0.5:6:700 RRA:AVERAGE:0.5:24:775 RRA:AVERAGE:0.5:288:797 

rrdtool create pop3.rrd --step 300 DS:in:DERIVE:600:0:U DS:out:DERIVE:600:0:U DS:serverin:DERIVE:600:0:U DS:serverout:DERIVE:600:0:U RRA:MAX:0.5:1:600 RRA:MAX:0.5:6:700 RRA:MAX:0.5:24:775 RRA:MAX:0.5:288:797 RRA:AVERAGE:0.5:1:600 RRA:AVERAGE:0.5:6:700 RRA:AVERAGE:0.5:24:775 RRA:AVERAGE:0.5:288:797 

rrdtool create smtp.rrd --step 300 DS:in:DERIVE:600:0:U DS:out:DERIVE:600:0:U DS:serverin:DERIVE:600:0:U DS:serverout:DERIVE:600:0:U RRA:MAX:0.5:1:600 RRA:MAX:0.5:6:700 RRA:MAX:0.5:24:775 RRA:MAX:0.5:288:797 RRA:AVERAGE:0.5:1:600 RRA:AVERAGE:0.5:6:700 RRA:AVERAGE:0.5:24:775 RRA:AVERAGE:0.5:288:797 

rrdtool create ftp.rrd --step 300 DS:in:DERIVE:600:0:U DS:out:DERIVE:600:0:U DS:serverin:DERIVE:600:0:U DS:serverout:DERIVE:600:0:U RRA:MAX:0.5:1:600 RRA:MAX:0.5:6:700 RRA:MAX:0.5:24:775 RRA:MAX:0.5:288:797 RRA:AVERAGE:0.5:1:600 RRA:AVERAGE:0.5:6:700 RRA:AVERAGE:0.5:24:775 RRA:AVERAGE:0.5:288:797 

rrdtool create msn.rrd --step 300 DS:in:DERIVE:600:0:U DS:out:DERIVE:600:0:U DS:serverin:DERIVE:600:0:U DS:serverout:DERIVE:600:0:U RRA:MAX:0.5:1:600 RRA:MAX:0.5:6:700 RRA:MAX:0.5:24:775 RRA:MAX:0.5:288:797 RRA:AVERAGE:0.5:1:600 RRA:AVERAGE:0.5:6:700 RRA:AVERAGE:0.5:24:775 RRA:AVERAGE:0.5:288:797 
=========================================================================
# script wat de data verzamelt en de .rrd files update(kan ook met de rrd-perl-module)
[erik@piranha ~]# cat traffic.pl
#!/usr/bin/perl
#use RRDs;
$regel = `ipfw -a l`;
print "$regel\n";
while($regel =~ /(\d+)\s+(\d+)\s+(\d+).+[isp|gif]0/g){
#print "$1, $2, $3\n";
        $data[$1] = $3;
}
`rrdtool update /root/traffic/totaal.rrd N:$data[100]:$data[200]`;
`rrdtool update /root/traffic/http.rrd N:$data[300]:$data[400]:$data[500]:$data[600]`;
`rrdtool update /root/traffic/smtp.rrd N:$data[700]:$data[800]:0:0`;
`rrdtool update /root/traffic/pop3.rrd N:$data[1100]:$data[1200]:0:0`;
`rrdtool update /root/traffic/dns.rrd N:$data[1500]:$data[1600]:0:0`;
`rrdtool update /root/traffic/ftp.rrd N:$data[1900]:$data[2000]:0:0`;
`rrdtool update /root/traffic/msn.rrd N:$data[2700]:$data[2800]:0:0`;

hopelijk kan je er wat mee.

[ Voor 20% gewijzigd door Oezie Woezie op 28-03-2004 19:11 ]

[Predator]

PNS -> NOS

[Stacium]

om de post van Oezie Woezie enigszins te begrijpen zonder helemaal in RRDTOOL te duiken -> http://sourceforge.net/projects/cacti/ .

RRDTOOL is de opvolger van MRTG, heeft een betere opslag en een betere graph-functies en is overigens van dezelfde maker (Tobias Oetiker)