Server hangt bij veel IO/Netwerk ?

[WHiZZi]

Ik zit hier met een vreemd probleem waar ik gewoon niet uit kom en ik hoop dat iemand mij een richting kan geven waar ik moet gaan zoeken.

De situatie is dat ik een op Debian gebaseerde router heb met een CF kaart (4GB) als / en 2x een S-ATA disk voor mijn files. Deze server is naast Samba server, ook telefooncentrale (Asterisk), router richting UPC voor mijn LAN, fallback Nameserver, fallback mailserver (SMTP) en IPv6 routed advertiser (sixx6 icm radvd).

Ik heb een 50Mb UPC verbinding en het lijkt er op dat tijdens een 50Mbit download op de server (op 1 van de S-ATA disken) de volledige machine volledig down gaat.

ICMP verkeer komt niet meer aan, dhcp doet het niet meer en routeren dus ook niet. Er is nog wel link op de beide netwerk interfaces en daar lijkt ook verkeer overheen te gaan, maar vanuit het LAN kan ik op zowel IPv4 als IPv6 niks meer op de machine. Alle lopende sessies worden onderbroken (bijvoorbeeld een SSH sessie wordt gekilled door "Broken Pipe" ).

Bijvoorbeeld vanochtend toen ik een download had lopen die ongeveer met 2.5MB/sec binnenkwam. Gewoon ineens de hele machine, dood. Stekker eruit, stekker erin en hij start weer op als normaal en gaat verder met de download. . Vanochtend was alleen wel weer het geval dat de machine kort hierna weer offline ging omdat de download weer met deze snelheid binnenkwam.

Het is ook niet altijd, soms kan ik downloads hebben die de volledige bandbreedte downstream pakken en dan blijft de server lopen.

Logischerwijs kijk ik dan altijd in de logfiles en dmesg waar dus niks te zien is. Geen enkele logfile laat ook maar iets zien wat er fout gaat. Het enige wat er gebeurd, is dat er geen logentries meer komen...

Helaas is de machine nu ook weer offline, dus ik kan geen directe logfiles uitlezen of specs geven. Het betreft een Atom cpu en 2 Western Digital S-ATA harddisks... Een recente e2fsck leverde niks bijzonders op en beide schijven zijn gepartitioneerd met een ext4 partitie...

Iemand een idee waar de oorzaak zou kunnen liggen? Het komt dus alleen voor bij een snelle download. Kopieeren van disk A naar disk B levert geen problemen op.

[Terran]

Heb zelf een soort gelijk probleem gehad, voor mij waren andere nic drivers de oplossing.

[CAPSLOCK2000]

Welke kernel gebruik je precies? Een van mijn VMs komt met kernels > 3.2 in de problemen als ik heel hard download terwijl de disk het al te druk heeft. Die downloads gaan vooral via IPv6. Het gevolg is dat de netwerkverbinding wegvalt. De verbinding herstarten helpt niet. Pas als ik de driver van de (virtuele) nic verwijder en weer herlaad (met modprobe) dan komt het netwerk terug.

[WHiZZi]

Ik zal vanavond eens een poging wagen voor een andere NIC-driver. Ik weet zo niet welke netwerkkaarten ik er in heb zitten.. Het zou wel een verklaring kunnen zijn.

Ik draai de laatste kernel van Debian Testing. Dat zou zomaar eens 3.2.xx kunnen zijn.

[WHiZZi]

Ik heb helaas gisteren geen tijd gehad om verder te controleren maar wel de machine weer eens kunnen herstarten ..

Ik heb voor de zekerheid de IPv6-tunnel (aiccu en radvd) uitgeschakeld en er is nog geen down geweest sindsdien.

Mijn kernel:

code:

Linux pinky 3.2.0-4-amd64 #1 SMP Debian 3.2.46-1+deb7u1 x86_64 GNU/Linux

eth0 = RTL8102e
eth1 = RealTek RTL8139

Op eth0 zit mijn UPC internet verbinding. Op eth1 zit mijn LAN (deze gaat naar een TimeCapsule van Apple)

code:

eth0: negotiated 100baseTx-FD, link ok
eth1: negotiated 100baseTx-FD, link ok

Dit staat er in de /var/log/messages .. Zoals je kunt zien is er geen enkele logging tussen Sep 30 07:47:18 en Sep 30 18:19:48 (dat is net nadat ik de stekker er uit heb gehaald)

code:

Sep 30 07:46:01 pinky kernel: [   27.529223] FS-Cache: Netfs 'nfs' registered for caching
Sep 30 07:46:01 pinky kernel: [   27.623083] Installing knfsd (copyright (C) 1996 [e-mail]).
Sep 30 07:46:01 pinky kernel: [   28.326769] ip_tables: (C) 2000-2006 Netfilter Core Team
Sep 30 07:46:01 pinky kernel: [   28.365046] nf_conntrack version 0.5.0 (7929 buckets, 31716 max)
Sep 30 07:46:01 pinky kernel: [   28.519212] ip6_tables: (C) 2000-2006 Netfilter Core Team
Sep 30 07:46:02 pinky kernel: [   32.173401] IPv6 over IPv4 tunneling driver
Sep 30 07:46:02 pinky kernel: [   32.230032] tun: Universal TUN/TAP device driver, 1.6
Sep 30 07:46:02 pinky kernel: [   32.230039] tun: (C) 1999-2004 Max Krasnyansky <[e-mail]>
Sep 30 07:46:03 pinky aiccu[2407]: Successfully retrieved tunnel information for T127378
Sep 30 07:46:03 pinky aiccu[2419]: AICCU running as PID 2419
Sep 30 07:46:03 pinky aiccu[2419]: [AYIYA-start] : Anything in Anything (draft-02)
Sep 30 07:46:03 pinky aiccu[2419]: [AYIYA-tun->tundev] : (Socket to TUN) started
Sep 30 07:46:58 pinky kernel: [   64.829353] postgres (3258): /proc/3258/oom_adj is deprecated, please use /proc/3258/oom_score_adj instead.
Sep 30 07:47:18 pinky kernel: [   84.968048] sched: RT throttling activated
Sep 30 18:19:48 pinky kernel: imklog 5.8.11, log source = /proc/kmsg started.
Sep 30 18:19:48 pinky rsyslogd: [origin software="rsyslogd" swVersion="5.8.11" x-pid="2323" x-info="http://www.rsyslog.com"] start
Sep 30 18:19:48 pinky kernel: [    0.000000] Initializing cgroup subsys cpuset
Sep 30 18:19:48 pinky kernel: [    0.000000] Initializing cgroup subsys cpu
Sep 30 18:19:48 pinky kernel: [    0.000000] Linux version 3.2.0-4-amd64 ([e-mail]) (gcc version 4.6.3 (Debian 4.6.3-14) ) #1 SMP Debian 3.2.46-1+de
b7u1
Sep 30 18:19:48 pinky kernel: [    0.000000] Command line: BOOT_IMAGE=/vmlinuz-3.2.0-4-amd64 root=/dev/mapper/pinky-root ro libata.force=1:pio4 quiet acpi=off

De /var/log/syslog laat iets meer zien:

code:

Sep 30 08:05:30 pinky transmission-daemon[3564]: Holland.Doc.Born.In.The.USSR.28.Up.NLSUBS.x264-SHOWGEMiST Retrying announce in 3640 seconds. (announcer.c:1003)
Sep 30 08:05:50 pinky postfix/smtpd[3671]: connect from unknown[62.97.124.154]
Sep 30 08:05:50 pinky postfix/cleanup[3669]: 3424C77B: message-id=<[e-mail]>
Sep 30 08:05:50 pinky postfix/smtpd[3671]: NOQUEUE: reject: RCPT from unknown[62.97.124.154]: 554 5.7.1 Service unavailable; Client host [62.97.124.154] blocked using cbl.abuseat.org; Blocked - see http://cbl.abuseat.org/lookup.cgi?ip=62.97.124.154; from=<[e-mail]> to=<krause@domein> proto=ESMTP helo=<[62.97.124.154]>
Sep 30 08:05:50 pinky postfix/smtpd[3671]: disconnect from unknown[62.97.124.154]
Sep 30 08:05:50 pinky postfix/qmgr[3499]: 3424C77B: from=<[e-mail]>, size=232, nrcpt=1 (queue active)
Sep 30 08:05:50 pinky postfix/smtp[3670]: 3424C77B: to=<krause@domein>, relay=mx.zipzap.nl[2001:4cb8:1:ff01::25:1]:25, delay=0.56, delays=0.43/0/0.08/0.05, dsn=5.1.1, status=undeliverable (host mx.zipzap.nl[2001:4cb8:1:ff01::25:1] said: 550 5.1.1 <krause@domein>: Recipient address rejected: undeliverable address: unknown user: "krause@domein" (in reply to RCPT TO command))
Sep 30 08:05:50 pinky postfix/qmgr[3499]: 3424C77B: removed
Sep 30 08:06:26 pinky postfix/smtpd[3782]: connect from host158-1-static.226-95-b.business.telecomitalia.it[95.226.1.158]
Sep 30 08:06:26 pinky postfix/cleanup[3669]: 98B7877B: message-id=<[e-mail]>
Sep 30 18:19:48 pinky kernel: imklog 5.8.11, log source = /proc/kmsg started.
Sep 30 18:19:48 pinky rsyslogd: [origin software="rsyslogd" swVersion="5.8.11" x-pid="2323" x-info="http://www.rsyslog.com"] start
Sep 30 18:19:48 pinky kernel: [    0.000000] Initializing cgroup subsys cpuset
Sep 30 18:19:48 pinky kernel: [    0.000000] Initializing cgroup subsys cpu

De transmission-daemon draait en er komt nog poging tot mail binnen, maar dan is het dus gewoon niks meer..

Nu staat IPv6 dus in zijn geheel uit en ik zal vandaag eens proberen of het weer vast loopt. Ik ga ook eens zoeken naar of 1 van de 2 netwerkkaarten misschien het issue is (alhoewel ik daar toch wel over twijfel gezien er geen enkel bewijs is dat het een netwerk-issue is plus dat beide netwerkkaarten onbereikbaar zijn)

Iemand nog een idee?

[igmar]

Je zou eens sysrq kunnen proberen. Als je console access hebt kun je iig kijken waarom de machine plat gaat.