Packet loss zo lijkt het

[Mike2k]

Goeiemorgen

Sinds gisteren ochtend de volgende situatie:
Op mijn colocated netwerk vallen pakketten weg.

Netwerk:
PSNNL01SW001: Cisco 3508XL
Slot 1 heeft een GigaStack module naar de PSNNL01SW002
Slot 2 tm 7 een UTP-Gbic module.
In slot 8 een SX-gbic met een glasvezel uplink naar het net

PSNNL01SW002: Cisco 3524
Slot 1 is de GigaStack naar de PSNNL01SW001

Vervolgens zijn er 2 servers en een IBM TotalStorage DS300 aangesloten.
De servers zijn HP DL380 G3's

De servers hebben beide 2x 100Mb, aangesloten op de PSNNL01SW002 en 2x 1Gb, aangesloten op de PSNNL01SW001

De DS300 zit met de management interface op de PSNNL01SW002 en met de iSCSI interface op de PSNNL01SW001

Nu is sinds gisteren ochtend het netwerk dus vreselijk traag.

Wat info:

Een ping naar de PSNNL01ESX001
Pinging psnnl01esx001.phison.nl [217.67.249.195] with 32 bytes of data:
Request timed out.
Reply from 217.67.249.195: bytes=32 time=24ms TTL=58
Request timed out.
Reply from 217.67.249.195: bytes=32 time=19ms TTL=58
Request timed out.
Reply from 217.67.249.195: bytes=32 time=21ms TTL=58
Request timed out.
Reply from 217.67.249.195: bytes=32 time=28ms TTL=58

Ping statistics for 217.67.249.195:
Packets: Sent = 8, Received = 4, Lost = 4 (50% loss),
Approximate round trip times in milli-seconds:
Minimum = 19ms, Maximum = 28ms, Average = 23ms

Een ping naar www.phison.nl
Pinging www.phison.nl [217.67.249.202] with 32 bytes of data:
Request timed out.
Reply from 217.67.249.202: bytes=32 time=128ms TTL=58
Reply from 217.67.249.202: bytes=32 time=23ms TTL=58
Request timed out.
Reply from 217.67.249.202: bytes=32 time=22ms TTL=58

Ping statistics for 217.67.249.202:
Packets: Sent = 5, Received = 3, Lost = 2 (40% loss),
Approximate round trip times in milli-seconds:
Minimum = 22ms, Maximum = 128ms, Average = 57ms

Een tracert naar mail.phison.nl
Tracing route to mail.phison.nl [217.67.249.200]
over a maximum of 30 hops:

1 2 ms 3 ms 4 ms fritz.box [172.16.32.254]
2 22 ms 18 ms 18 ms lo354.dr3.d12.xs4all.net [83.160.212.1]
3 21 ms 30 ms 55 ms 0.ge-3-1-0.xr4.1d12.xs4all.net [194.109.7.121]
4 20 ms 21 ms 19 ms 0.so-6-0-0.xr1.tc2.xs4all.net [194.109.5.10]
5 19 ms 19 ms 18 ms rtr1.ams-ix.AMS-tc2.grafix.nl [195.69.144.239]
6 21 ms 26 ms 25 ms csw-1.cpl-mkb.grafix.nl [217.67.247.9]
7 * 25 ms * phison.nl [217.67.249.200]
8 * 21 ms * phison.nl [217.67.249.200]
9 21 ms 28 ms * phison.nl [217.67.249.200]
10 20 ms * * phison.nl [217.67.249.200]
11 34 ms 33 ms * phison.nl [217.67.249.200]
12 20 ms * 21 ms phison.nl [217.67.249.200]

Trace complete.

Duidelijk is te zien dat er pakketten verloren gaan.
Netwerken is echt mijn slechtste kant dus wil ik vragen of jullie ideeën hebben om te achterhalen waar het probleem aan ligt?

Het lijkt me niet dat het aan de servers ligt aangezien beide servers exact hetzelfde probleem hebben.
Kan het dat de glas-gbic aan het overlijden is ?

Ik dacht dat het wellicht een DDOS aanval of iets dergelijks was, maar dat lijkt ook niet het geval:
psnnl01web001:~# netstat -n | grep :80 |wc -l
0
psnnl01web001:~# netstat -n | grep :80 | grep SYN |wc -l
0

Dan draait er nog een Exchange server die met de buitenwereld verbonden is, maar een netstat daarop geeft ook geen rare dingen.

[ Voor 5% gewijzigd door Mike2k op 03-04-2010 02:10 ]

[Uberprutser]

Volgens mij stinkt er iets aan een van de poorten zijn duplux (instellingen).
Kijk is specifiek op je interfaces wat ze uitspoken.

En dan vooral of je CRC erros ziet en dus de duplex.

[ Voor 17% gewijzigd door Uberprutser op 03-04-2010 11:10 ]

[Mike2k]

Dit is de output van de ESX server:

[root@psnnl01esx002 root]# ifconfig
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:46151 errors:0 dropped:0 overruns:0 frame:0
TX packets:46151 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:19008375 (18.1 Mb) TX bytes:19008375 (18.1 Mb)

vmnic0 Link encap:Ethernet HWaddr 00:0B:CD:29:BD:6B
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)
Interrupt:129

vmnic1 Link encap:Ethernet HWaddr 00:0B:CD:29:BD:6A
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:78781 errors:0 dropped:0 overruns:0 frame:0
TX packets:6266 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:28919716 (27.5 Mb) TX bytes:375960 (367.1 Kb)
Interrupt:137

vmnic2 Link encap:Ethernet HWaddr 00:07:E9:12:10:6D
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:184988 errors:0 dropped:0 overruns:0 frame:0
TX packets:162415 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:40472075 (38.5 Mb) TX bytes:195867697 (186.7 Mb)
Interrupt:145 Base address:0x4000 Memory:f7ff0000-f7ff0038

vswif0 Link encap:Ethernet HWaddr 00:50:56:42:F2:1D
inet addr:217.67.249.196 Bcast:217.67.249.255 Mask:255.255.255.192
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:132204 errors:0 dropped:0 overruns:0 frame:0
TX packets:129837 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:34447920 (32.8 Mb) TX bytes:181254052 (172.8 Mb)

vswif1 Link encap:Ethernet HWaddr 00:50:56:40:0B:00
inet addr:10.10.1.196 Bcast:10.10.1.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:5161 errors:0 dropped:0 overruns:0 frame:0
TX packets:13120 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:389076 (379.9 Kb) TX bytes:551040 (538.1 Kb)

vswif2 Link encap:Ethernet HWaddr 00:50:56:42:4B:9C
inet addr:10.10.3.196 Bcast:10.10.3.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:55667 errors:0 dropped:0 overruns:0 frame:0
TX packets:6193 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:27291740 (26.0 Mb) TX bytes:260106 (254.0 Kb)

Maar beide servers hebben exact dezelfde problemen terwijl ze tot donderdag nog draaiden als een zonnetje

[Uberprutser]

Ik had het over de poorten op je switches.

[Mike2k]

Een sh int van de uplink naar het net:

GigabitEthernet0/8 is up, line protocol is up
Hardware is Gigabit Ethernet, address is 000e.388e.ed48 (bia 000e.388e.ed48)
MTU 1500 bytes, BW 1000000 Kbit, DLY 10 usec,
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, loopback not set
Keepalive not set
Auto-duplex (Full), 1000Mb/s, media type is SX
output flow-control is off, input flow-control is off
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:00:04, output 00:00:00, output hang never
Last clearing of "show interface" counters never
Queueing strategy: fifo
Output queue 0/40, 0 drops; input queue 0/75, 0 drops
5 minute input rate 1000 bits/sec, 1 packets/sec
5 minute output rate 2000 bits/sec, 1 packets/sec
387890 packets input, 228891745 bytes, 0 no buffer
Received 12516 broadcasts, 0 runts, 0 giants, 0 throttles
0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
0 watchdog, 8870 multicast, 0 pause input
427119 packets output, 251056767 bytes, 0 underruns
0 output errors, 0 collisions, 1 interface resets
0 babbles, 0 late collision, 0 deferred
0 lost carrier, 0 no carrier, 0 pause output
0 output buffer failures, 0 output buffers swapped out

[Uberprutser]

Als je nou eens bij alle interfaces kijkt of er wat fout gaat?

[Mike2k]

Ballebek, heel erg bedankt, maar ik ben er achter gekomen dat er op mijn netwerk niets mis was....onderling pingen ging goed (had ik gelijk moet checken).

Alleen als ik van het netwerk af wilde, voorbij de gateway, ging het mis. Hostingpartij opgebeld, die hebben de switchpoort opnieuw geconfigureerd, problem solved....

Heel apart...