[Debian stable] Grote hoeveelheid dropped RX packets

[geez]

Vorige week heb ik een nieuwe server in elkaar gezet, en daarop Debian stable (5.0.3) geinstalleerd. Nu is het probleem dat ik een enorme hoeveelheid dropped RX packets heb op eth0, zonder dat er activiteit plaatsvind op de server. Services als samba en apache2 had ik al geinstalleerd maar ook na het afsluiten daarvan neemt de hoeveelheid dropped packets rap toe.

Wat ik geprobeerd heb:
- Andere netwerkkabel
- Afsluiten alles behalve sshd
- Man-in-the-middle aanval om te kijken of er geen verkeer van elders in het LAN afgevuurd wordt op de server (niet dat ik een reden heb om dat aan te nemen)

Wat outputs:

code:

databeest:/home/wesley# uname -a
Linux databeest 2.6.26-2-amd64 #1 SMP Thu Nov 5 02:23:12 UTC 2009 x86_64 GNU/Linux

code:

databeest:/home/wesley# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 40:61:86:05:3a:3c
          inet addr:192.168.1.11  Bcast:192.168.1.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:576  Metric:1
          RX packets:148841 errors:0 dropped:67802427692 overruns:0 frame:0
          TX packets:1102250 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:10681027 (10.1 MiB)  TX bytes:234062147 (223.2 MiB)
          Interrupt:254

(Het aantal dropped bij RX is zo'n 5 seconden later al 69...)

code:

databeest:/home/wesley# uptime
 22:41:52 up 37 min,  1 user,  load average: 0.00, 0.00, 0.00

code:

databeest:/home/wesley# lsof -i
COMMAND    PID        USER   FD   TYPE DEVICE SIZE NODE NAME
portmap   1966      daemon    4u  IPv4   5674       UDP *:sunrpc
portmap   1966      daemon    5u  IPv4   5675       TCP *:sunrpc (LISTEN)
rpc.statd 1977       statd    5r  IPv4   5714       UDP *:881
rpc.statd 1977       statd    7u  IPv4   5733       UDP *:52247
rpc.statd 1977       statd    8u  IPv4   5739       TCP *:43418 (LISTEN)
exim4     2488 Debian-exim    3u  IPv4   6473       TCP localhost:smtp (LISTEN)
dhclient3 2574        root    4u  IPv4   6232       UDP *:bootpc
sshd      2597        root    3u  IPv6   6754       TCP *:ssh (LISTEN)
sshd      2597        root    4u  IPv4   6756       TCP *:ssh (LISTEN)
sshd      3474        root    3r  IPv4  11626       TCP 192.168.1.11:ssh->192.168.1.9:43481 (ESTABLISHED)
sshd      3477      wesley    3u  IPv4  11626       TCP 192.168.1.11:ssh->192.168.1.9:43481 (ESTABLISHED)

[Kees]

geeft tcpdump -i any -n not port 22 je iets?

[geez]

code:

databeest:/home/wesley# tcpdump -i any -n not port 22
tcpdump: WARNING: Promiscuous mode not supported on the "any" device
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on any, link-type LINUX_SLL (Linux cooked), capture size 96 bytes

Blijft verder leeg, bij het volgende krijg ik wel wat output:

code:

databeest:/home/wesley# tcpdump -i eth0 -n not port 22
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
22:50:14.469557 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): REGISTRATION; REQUEST; BROADCAST
22:50:14.635218 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:50:15.219532 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): REGISTRATION; REQUEST; BROADCAST
22:50:15.969511 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): REGISTRATION; REQUEST; BROADCAST
22:50:16.635221 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:50:16.719579 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): REGISTRATION; REQUEST; BROADCAST
22:50:17.469498 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): REGISTRATION; REQUEST; BROADCAST
22:50:18.219487 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): REGISTRATION; REQUEST; BROADCAST
22:50:18.635326 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:50:18.969479 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): REGISTRATION; REQUEST; BROADCAST

etc.
En wat langer:

code:

databeest:/home/wesley# tcpdump -i eth0 -n not port 22
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
22:51:10.636035 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:12.636166 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:14.636063 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:16.636125 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:18.636131 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:20.636239 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:22.636195 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:24.636213 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:26.406911 IP 192.168.1.1 > 224.0.0.1: igmp query v2 [max resp time 10]
22:51:26.636286 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:27.052512 IP 192.168.1.16 > 239.255.255.250: igmp v2 report 239.255.255.250
22:51:27.052526 IP 192.168.1.16 > 224.0.0.251: igmp v2 report 224.0.0.251
22:51:28.636277 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:30.636306 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:32.636392 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:34.636395 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:36.636423 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:38.636432 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:40.636463 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:42.636530 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:44.187474 IP 192.168.1.3.68 > 255.255.255.255.67: BOOTP/DHCP, Request from 00:22:15:46:1c:99, length 300
22:51:44.195420 IP 192.168.1.1.67 > 255.255.255.255.68: BOOTP/DHCP, Reply, length 548
22:51:44.273650 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:51:44.636630 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:45.015383 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:51:45.765385 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:51:46.636599 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:46.672595 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:51:47.421615 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:51:48.171604 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:51:48.636655 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:50.636611 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:52.418070 arp who-has 192.168.1.11 tell 192.168.1.9
22:51:52.418091 arp reply 192.168.1.11 is-at 40:61:86:05:3a:3c
22:51:52.637966 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:54.636737 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:56.636718 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:51:58.636817 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:00.636840 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:02.636789 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:02.749745 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:52:03.499553 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:52:04.249543 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:52:04.636826 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:06.636850 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:06.767842 IP 192.168.1.1.67 > 255.255.255.255.68: BOOTP/DHCP, Reply, length 548
22:52:08.636898 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:10.636941 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:10.936024 IP 192.168.1.3.138 > 192.168.1.255.138: NBT UDP PACKET(138)
22:52:10.936041 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:52:11.671332 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:52:11.843050 arp who-has 192.168.1.16 tell 192.168.1.8
22:52:11.843068 arp who-has 192.168.1.4 tell 192.168.1.8
22:52:12.421322 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:52:12.637021 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:13.171474 IP 192.168.1.3.137 > 192.168.1.255.137: NBT UDP PACKET(137): QUERY; REQUEST; BROADCAST
22:52:14.637012 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:16.637052 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:17.845782 arp who-has 192.168.1.4 tell 192.168.1.8
22:52:18.637032 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:20.637066 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:22.637147 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:24.637123 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:26.657254 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:28.657250 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:30.657264 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:32.657253 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:34.657288 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:35.653941 arp who-has 192.168.1.11 tell 192.168.1.9
22:52:35.653956 arp reply 192.168.1.11 is-at 40:61:86:05:3a:3c
22:52:36.657927 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:38.657395 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:40.657612 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:42.659608 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
22:52:44.657476 STP 802.1d, Config, Flags [none], bridge-id 8000.00:0f:cb:fe:e6:40.8002, length 43
^C
75 packets captured
75 packets received by filter
0 packets dropped by kernel

[ Voor 69% gewijzigd door geez op 30-11-2009 22:53 ]

[Sir Isaac]

Ik zou een andere nic proberen. Volgens mij is het een hardware probleem.

[GraveR]

Een MTU van 576 is dan ook wel aan de erg lage kant voor een NIC. Wat gebeurt er als je 'ifconfig eth0 mtu 1500' doet? Loopt het aantal dropped dan nog op?

[geez]

Het veranderen van de MTU naar 1500 (of zelfs 3000) lijkt geen effect te hebben. Na een nachtje draaien ziet ifconfig er overigens zo uit:

code:

databeest:/home/wesley# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 40:61:86:05:3a:3c
          inet addr:192.168.1.11  Bcast:192.168.1.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:9905511 errors:0 dropped:1026434459540 overruns:0 frame:0
          TX packets:6087315 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:5728116954 (5.3 GiB)  TX bytes:517219496 (493.2 MiB)
          Interrupt:254

5.3GB RX

Het gaat overigens om de onboard NIC van een MSI 760GTM-P33 bord. Ik heb misschien nog wel een oude PCI NIC liggen, die kan ik wel proberen. Wat ik eerst even zal proberen is het systeem laten rebooten/idlen zonder UTP kabel erin, tot ik vanmiddag weer thuis kom.

[ Voor 16% gewijzigd door geez op 01-12-2009 13:22 ]

[geez]

Goed, ik heb voordat ik weg ging BIOS defaults geladen, weer gereboot zonder UTP kabel erin, naar runlevel 1 (single-user mode). Toen ik terug kwam en ifconfig eth0 deed had ik weer een enorme hoeveelheid dropped, maar nu met 0 RX/TX bytes.

Ik ga nog even de kast open maken of er iets opvalt, daarna eens Ubuntu booten vanaf USB en kijken of daar hetzelfde probleem speelt. Anders het mobo maar RMA sturen denk ik?

[Verwijderd]

Ik heb even je moederbord opgezocht, http://www.msi.com/index.php?func=newsdesc&news_no=826, maar het lijkt me erg op dit probleem lijken: https://bugs.launchpad.net/ubuntu/+bug/208012 (ctrl-f en typ 'dropped' in) dus niet zozeer je moederbord zelf. (Hoewel ze dus dezelfde onboard Realtek chippies hebben voor ethernet)

Het lijkt dus een probleem met je software, eerder dan je hardware. Installeer eens ethernetdrivers van 2 maanden oud ofzo?

[ Voor 21% gewijzigd door Verwijderd op 01-12-2009 17:36 ]

[geez]

Ik heb het systeem nu gestart vanaf usb met daarop Ubuntu 9.10 amd64 erop middels UNetbootin. Sterker nog, ik post dit vanaf het systeem. Het probleem is inderdaad weg; Heb even een download aangezet en wat dingen over smb geleeched vanaf andere systemen hier op het LAN.

code:

ubuntu@ubuntu:~$ ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 40:61:86:05:3a:3c  
          inet addr:192.168.1.11  Bcast:192.168.1.255  Mask:255.255.255.0
          inet6 addr: fe80::4261:86ff:fe05:3a3c/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:1226906 errors:0 dropped:0 overruns:0 frame:0
          TX packets:726240 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:764444896 (764.4 MB)  TX bytes:40196448 (40.1 MB)
          Interrupt:26

Uit lsmod vallen er een paar regels op m.b.t. de NIC:

code:

r8169                  38884  0 
mii                     6368  1 r8169

code:

ubuntu@ubuntu:/sys/module/r8169$ cat version
2.3LK-NAPI

Update: Ik heb de versie in de Debian installatie ook even gechecked, dat is 2.2LK-NAPI. Wat ik dus ga doen is de nieuwste driver bij Realtek downloaden en proberen, aangezien dat het probleem op lijkt te lossen. Alleen nog het volgende uit de comments op het item op launchpad:

The fix worked for me with an RTL8111/8168B on an ASRock GM31 motherboard.

A quick note for users, when kernel updates automatically via Ubuntu update you need to repeat steps:
04 - $ cd /usr/src/r8168-8.005.00
05 - $ sudo make clean modules
06 - $ sudo make install
07 - $ sudo depmod -a
08 - $ sudo insmod ./src/r8168.ko

Ik zou dus elke keer dat de kernel geupgrade (niet dat dat vaak gebeurt bij Debian stable) wordt de r8168 opnieuw moeten inserten? Met r8169 geblacklist vereist dat dus dat ik op locatie ben, is hier een oplossing voor?
_{Hoewel, natuurlijk kan inserten voor het rebooten nog altijd}

edit: Om werk te besparen heb ik er uiteindelijk voor gekozen toch maar te upgraden naar debian squeeze (testing) met kernel 2.6.30.

[ Voor 35% gewijzigd door geez op 15-12-2009 15:55 ]

[Seth4Chaos]

geez schreef op donderdag 03 december 2009 @ 00:13:
Ik zou dus elke keer dat de kernel geupgrade (niet dat dat vaak gebeurt bij Debian stable) wordt de r8168 opnieuw moeten inserten?

Niet zozeer inserten maar wel installeren. Als je zorgt dat je je bootmenu aanpast dat die altijd de door jou gekozen kernel (en niet de laats door debian geinstalleerde) start zit je veilig.

Met r8169 geblacklist vereist dat dus dat ik op locatie ben, is hier een oplossing voor?

yeps

code:

# /etc/modules: kernel modules to load at boot time.

_{Hoewel, natuurlijk kan inserten voor het rebooten nog altijd}