Achterhalen waar toename dataverkeer door komt

[B-Man]

Hallo,

Sinds een maand of twee is op een van onze colo servers het inkomende dataverkeer van 10 GB/maand naar 150 GB/maand gegroeid.
Ik weet zeker dat het niet door een hack komt, maar vermoed een probleem met integratie van een leverancier.
Er is momenteel een leverancier die iedere minuut een HTTP post uitvoert.

Als ik echter apache httpd laat loggen wat het daardwerkelijke verbruik is (LogFormat combinedio), dan verklaart dit bij lange na niet het dataverkeer:

[ip leverancier] - - [19/Nov/2012:16:04:00 +0100] "POST /integration HTTP/1.1" 503 401 "-" "Mozilla/4.0 (compatible; Win32; WinHttp.WinHttpRequest.5)" 266 571
[ip leverancier] - - [19/Nov/2012:16:05:26 +0100] "POST /integration HTTP/1.1" 503 401 "-" "Mozilla/4.0 (compatible; Win32; WinHttp.WinHttpRequest.5)" 266 571
[ip leverancier] - - [19/Nov/2012:16:06:55 +0100] "POST /integration HTTP/1.1" 503 401 "-" "Mozilla/4.0 (compatible; Win32; WinHttp.WinHttpRequest.5)" 266 571

De voorlaatste waarde is de "Bytes received" waarde, hier dus 266 bytes per request.
(De 503 response code is omdat de integratie achter een reverse proxy zit op localhost, die momenteel uitstaat)

In mijn zoektocht naar een manier om in kaart te brengen welke host-port combinatie het dataverkeer veroorzaakt, kwam ik o.a. uit bij darkstat (http://unix4lyfe.org/darkstat/).
Daarin zie ik in de top 5 een host van de betreffende leverancier staan, met een aardig verbruik (zo'n 100MB per uur, dus rond de 75GB per maand).

Echter kan ik in darkstat niet zien waar dat dataverkeer dan precies aan opgaat. Als ik de details van een host opvraag toont darkstat enkel de remote port (en dat is een random poort), en dat er per verbinding rond de 50KB In, en 2MB Out verbruikt is.
Sowieso is de benaming van In en Out hier al onduidelijk vind ik, maar ik vermoed dat "In" hier betekent": verzonden naar de externe server.

Wie weet een linux tool waarmee ik erachter kan komen waar de toename vandaan komt?

[swbr]

Netwerk verkeer sniffen met tcpdump en met Wireshark analyseren?

[B-Man]

Ik zit er net naar te kijken ja, aangezien darkstat schijnbaar ook tcpdump gebruikt.

Eens kijken of ik een filter kan maken waarmee ik alle binnenkomende http verbindingen vanaf de leverancier kan zien...

[swbr]

tcpdump host <ip adres>

[B-Man]

Ok, oorzaak gevonden. Apache logt de grootte van de binnenkomende post body schijnbaar niet, vaag.

tcpdump liet zien dat nadat er twee regels van de post body gelezen zijn al een response gestuurd wordt. Schijnbaar logt apache mod_logio alleen wat er tot aan de response ontvangen is, ook al komt er daarna nog een bult data binnen...

Onze leverancier schiet al 1,5 maand iedere minuut 7,5MB aan data in waar we niets mee doen.

Antaresje: merci voor het noemen van tcpdump!

[Kees]

Voor dit soort dingen pak ik meestal eerst iptraf, en als ik er echt niet uitkom laat ik tcpdump een paar uur draaien.

[u_nix_we_all]

Valt me op dat ntop hier niet genoemd wordt, dat is ook een fijne tool voor dit soort dingen