Ubuntu Bionic Server (18.04) netwerk instabiel

[Wtrdk]

Goedemorgen,

Ik heb sinds 3 maanden Ubuntu Bionic (18.04 beta) draaien op een oude Dell Optiplex server. Tot afgelopen weekend werkte alles als een zonnetje.
Sinds afgelopen weekend vertoont de netwerkverbinding wat vreemd gedrag:
-SSH soms minutenlang niet bereikbaar en ineens wel
-Apache2 webpagina's vaak lang niet bereikbaar (ERR_CONNECTION_TIMED_OUT) maar geen enkele opvallende meldingen in de logging van apache (access.log/error.log)
-Als Apache niet te bereiken is kan SSH wel werken, en andersom. Ze liggen er dus niet altijd tegelijk uit.
-SMB ligt er ook vaak uit, en ook niet altijd tegelijk met Apache of SSH

Ik gebruik adapter eno1, en om te kijken of het iets zou oplossen ben ik nog even overgestapt op eno2, maar dan gebeurt exact hetzelfde.

Er zijn sinds afgelopen weekend, behalve de security updates, geen nieuwe packages geïnstalleerd.

Ik kan, zoals gezegd, in de logs van Apache geen errors vinden. Ook in kern.log, auth.log. syslog en andere logfiles zie ik geen rare dingen.
Terwijl ik dit schrijf zijn de webpagina's via apache al meer dan een uur niet bereikbaar, maar kan ik wel via ssh bij de server.

Ik ben geen expert, dus wellicht zoek ik niet naar de juiste vermeldingen in de logfiles...

Heeft iemand een idee waar ik verder naar een oorzaak kan zoeken?

[ Voor 4% gewijzigd door Wtrdk op 30-03-2018 09:38 ]

[Hero of Time]

Heb je nog iets van een firewall erbij draaien? Kijk eens naar de load van de machine. Daarnaast, wat voor hardware zit er precies in die Optiplex (CPU, hoeveelheid geheugen, netwerkkaart, etc). Dat je netwerkinterface 'eno1' heet, zegt voor ons nog steeds niks. Ik heb op m'n eigen systemen nog de oude namen, eth0, en dat zegt dus ook niet of ik nou een Intel of Realtek netwerkkaart heb, of nog een andere.

Als je niet precies weet waar je naar moet zoeken in de logbestanden (voornamelijk de systeem logs), plak hier dan een paar regels rond de tijd dat het probleem begint, in [code]-tags. Langere stukken bij voorkeur op pastebin om het scrollen te verminderen (en te voorkomen dat je bericht te lang is), of in quote tags zodat het standaard ingeklapt staat.

Als laatste, is je server ook van buiten je eigen netwerk bereikbaar?

[Wtrdk]

Ik heb geen firewall draaien. Ik had IPtables draaien, maar die heb ik helemaal gedeinstalleerd om te kijken of dat het probleem was.
De server is bereikbaar via internet.

De load is in mijn optiek normaal (gemeten over ongeveer 72 uur): load average: 0.04, 0.05, 0.03

Netwerkkaarten:

02:00.0 Ethernet controller: Broadcom Limited NetXtreme II BCM5716 Gigabit Ethernet (rev 20)
02:00.1 Ethernet controller: Broadcom Limited NetXtreme II BCM5716 Gigabit Ethernet (rev 20)

*-network:0
description: Ethernet interface
product: NetXtreme II BCM5716 Gigabit Ethernet
vendor: Broadcom Limited
physical id: 0
bus info: pci@0000:02:00.0
logical name: eno1
version: 20
serial: 78:2b:cb:66:33:c7
size: 1Gbit/s
capacity: 1Gbit/s
width: 64 bits
clock: 33MHz
capabilities: pm vpd msi msix pciexpress bus_master cap_list ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation
configuration: autonegotiation=on broadcast=yes driver=bnx2 driverversion=2.2.6 duplex=full firmware=6.2.15 bc 5.2.3 NCSI 2.0.11 ip=192.168.0.100 latency=0 link=yes multicast=yes port=twisted pair speed=1Gbit/s
resources: irq:16 memory:da000000-dbffffff
*-network:1
description: Ethernet interface
product: NetXtreme II BCM5716 Gigabit Ethernet
vendor: Broadcom Limited
physical id: 0.1
bus info: pci@0000:02:00.1
logical name: eno2
version: 20
serial: 78:2b:cb:66:33:c8
size: 1Gbit/s
capacity: 1Gbit/s
width: 64 bits
clock: 33MHz
capabilities: pm vpd msi msix pciexpress bus_master cap_list ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation
configuration: autonegotiation=on broadcast=yes driver=bnx2 driverversion=2.2.6 duplex=full firmware=6.2.15 bc 5.2.3 NCSI 2.0.11 ip=192.168.0.99 latency=0 link=yes multicast=yes port=twisted pair speed=1Gbit/s
resources: irq:17 memory:dc000000-ddffffff

Verdere hardware:
Intel(R) Xeon(R) CPU X3430 @ 2.40GHz (x4 cores)
16 GB geheugen


Tussen 9:00 en 9:05 kon ik apache niet meer bereiken, maar nog wel met ssh inloggen:
Journalctl --since 9:00:

Mar 30 09:00:01 wtrdk CRON[6880]: pam_unix(cron:session): session opened for user wtrdk by (uid=0)
Mar 30 09:00:01 wtrdk CRON[6881]: (wtrdk) CMD (/usr/local/bin/vbcheck.sh >/dev/null 2>&1)
Mar 30 09:00:01 wtrdk CRON[6880]: pam_unix(cron:session): session closed for user wtrdk
Mar 30 09:09:01 wtrdk CRON[7045]: pam_unix(cron:session): session opened for user root by (uid=0)
Mar 30 09:09:01 wtrdk CRON[7046]: (root) CMD ( [ -x /usr/lib/php/sessionclean ] && if [ ! -d /run/sy
Mar 30 09:09:01 wtrdk CRON[7045]: pam_unix(cron:session): session closed for user root
Mar 30 09:09:05 wtrdk systemd[1]: Starting Clean php session files...
Mar 30 09:09:05 wtrdk systemd[1]: Started Clean php session files.
Mar 30 09:10:01 wtrdk CRON[7125]: pam_unix(cron:session): session opened for user wtrdk by (uid=0)
Mar 30 09:10:01 wtrdk CRON[7126]: (wtrdk) CMD (/usr/local/bin/vbcheck.sh >/dev/null 2>&1)
Mar 30 09:10:01 wtrdk CRON[7125]: pam_unix(cron:session): session closed for user wtrdk
Mar 30 09:12:48 wtrdk sshd[7215]: Accepted publickey for wtrdk from 192.168.0.101 port 50487 ssh2: RS
Mar 30 09:12:48 wtrdk sshd[7215]: pam_unix(sshd:session): session opened for user wtrdk by (uid=0)
Mar 30 09:12:48 wtrdk systemd-logind[1141]: New session 232 of user wtrdk.
Mar 30 09:12:48 wtrdk systemd[1]: Started Session 232 of user wtrdk.
Mar 30 09:13:13 wtrdk sudo[7345]: wtrdk : TTY=pts/3 ; PWD=/home/wtrdk ; USER=root ; COMMAND=/usr/b
Mar 30 09:13:13 wtrdk sudo[7345]: pam_unix(sudo:session): session opened for user root by wtrdk(uid=0
Mar 30 09:13:13 wtrdk sudo[7345]: pam_unix(sudo:session): session closed for user root
Mar 30 09:13:26 wtrdk sudo[7364]: wtrdk : TTY=pts/3 ; PWD=/home/wtrdk ; USER=root ; COMMAND=/bin/s
Mar 30 09:13:26 wtrdk sudo[7364]: pam_unix(sudo:session): session opened for user root by wtrdk(uid=0
Mar 30 09:13:26 wtrdk su[7365]: Successful su for root by root
Mar 30 09:13:26 wtrdk su[7365]: + /dev/pts/3 root:root

SSH werkte hier wel, Apache niet.

Syslog:

Mar 30 09:00:01 wtrdk CRON[6881]: (wtrdk) CMD (/usr/local/bin/vbcheck.sh >/dev/null 2>&1)
Mar 30 09:09:01 wtrdk CRON[7046]: (root) CMD ( [ -x /usr/lib/php/sessionclean ] && if [ ! -d /run/systemd/system ]; then /usr/lib/php/sessionclean; fi)
Mar 30 09:09:05 wtrdk systemd[1]: Starting Clean php session files...
Mar 30 09:09:05 wtrdk systemd[1]: Started Clean php session files.
Mar 30 09:10:01 wtrdk CRON[7126]: (wtrdk) CMD (/usr/local/bin/vbcheck.sh >/dev/null 2>&1)
Mar 30 09:12:48 wtrdk systemd[1]: Started Session 232 of user wtrdk.
Mar 30 09:14:03 wtrdk systemd[1]: Started Session 233 of user wtrdk.
Mar 30 09:14:19 wtrdk systemd[1]: Stopping The Apache HTTP Server...
Mar 30 09:14:19 wtrdk systemd[1]: Stopped The Apache HTTP Server.
Mar 30 09:14:19 wtrdk systemd[1]: Starting The Apache HTTP Server...
Mar 30 09:14:20 wtrdk systemd[1]: Started The Apache HTTP Server.

Hier heb ik zelf Apache herstart, maar dat maakte geen verschil.

[Hero of Time]

Als het van buiten benaderbaar is, schakel dat eens uit en kijk eens goed naar je systeem of er niet toevallig wat ongewenste zaken op staan.

Wat is die /usr/local/bin/vbcheck.sh precies? Heb jij dat ingesteld met cron om te draaien?

Als laatste moet je natuurlijk ook nog rekening houden met het feit dat je een beta draait van Ubuntu. Is er een bepaalde reden om dit te doen, anders dan 'omdat het kan' en 'het is de volgende LTS, ik hoef dan geen upgrade uit te voeren als deze over een maand uit komt'?

[BCC]

En welke kernel draai je? Deze NIC had bij de introductie 16.06 ook al kernel panics tot gevolg.

[Hero of Time]

BCC schreef op vrijdag 30 maart 2018 @ 12:41:
En welke kernel draai je? Deze NIC had bij de introductie 16.06 ook al kernel panics tot gevolg.

Volgens https://packages.ubuntu.c...words=linux-image-generic zou dat 4.15 zijn. Ik denk niet dat de TS een alternatieve kernel heeft geïnstalleerd.

[Wtrdk]

Hero of Time schreef op vrijdag 30 maart 2018 @ 12:08:
Als het van buiten benaderbaar is, schakel dat eens uit en kijk eens goed naar je systeem of er niet toevallig wat ongewenste zaken op staan.

Wat is die /usr/local/bin/vbcheck.sh precies? Heb jij dat ingesteld met cron om te draaien?

Als laatste moet je natuurlijk ook nog rekening houden met het feit dat je een beta draait van Ubuntu. Is er een bepaalde reden om dit te doen, anders dan 'omdat het kan' en 'het is de volgende LTS, ik hoef dan geen upgrade uit te voeren als deze over een maand uit komt'?

Vbcheck.sh is een eigen gemaakt script wat een check uitvoert of een virtuele machine draait.

Ik begrijp de risico’s van een beta, maar tot afgelopen weekend werkte alles naar behoren en ik kan niet verklaren waarom het nu niet meer werkt. Ik heb dit inderdaad geïnstalleerd om later niet te hoeven upgraden 😉 Betrapt!! 😄

Als kernel draai ik 4.15.0-13-generic.
Ik heb vandaag even geen tijd om verder te testen, ik zal morgen even alleen ‘intern’ testen zonder lijntje naar buiten.

[Hero of Time]

Tja, als je alleen een paar 'security' updates hebt gehad, zou ik daar toch echt als eerste naar kijken. Zit daar een kernel update bij, dan zou dat zo heel snel de boosdoener zijn, uitgaande dat je direct een herstart hebt gedaan erna.

[kunnen]

Kijk eens op zo'n onbereikbaar moment wat je ziet met tcpdump/wireshark. Lokaal en op de server (als je wel nog via SSH erbij kunt en niet met apache)

[Wtrdk]

Ivm paasweekend ben ik nog niet veel verder. Heb wel wat gedetailleerder bijgehouden wanneer de verbinding er uit ligt, dus hopelijk snel een betere update.

[Vorkie]

En vanaf de simpele kant, is er niet een PC / telefoon / draadloos apparaat welke toevallig hetzelfde IP adres gaat gebruiken van de server?

[Hero of Time]

Als er een IP conflict zou zijn, zou de hele machine onbereikbaar worden. Dat is niet het geval, alleen een bepaalde service is spontaan 'offline'.

[Wtrdk]

Pffff, drukke week, weinig tijd, en geen meter opgeschoten met dit probleem. Ik kan helemaal niets vinden! Geen ip-conflict, geen vermeldingen in de logfiles.
Volslagen 'random' ligt de verbinding er uit. Eén ding is me wel opgevallen: ssh heeft er de hele week nog niet uitgelegen (of ik heb telkens op het goede moment ingelogd ;-) ).
Apache2 is geheel onvoorspelbaar...

Ik ga vrolijk verder, want ik kan dit niet over mijn kant laten gaan. Ik hoop snel met meer verdachte regels uit logfiles te komen...