Ubuntu server heeft geen netwerk na herstart

[Scally]

Mijn vraag
Na een herstart van mijn Ubuntu 22.04 LTS VM, is er geen netwerkverbinding. Ik kan het eenvoudig oplossen door na de herstart op de console in te loggen en een 'netplan apply' te doen.
Bijkomend probleem is doordat er geen netwerkverbinding is, mijn NFS shares niet worden gemount, waardoor sommige containers zoals Jellyfin en Nextcloud hun data kwijt zijn. Dat moet ik dus daarna doen met een 'mount -a'. En daarna deze containers weer herstarten.
Ik gebruik de server voor Docker containers.

Relevante software en hardware die ik gebruik
Proxmox 7.2.11 als hostsysteem, met daarop een Ubuntu 22.04 LTS VM (zonder GUI). Cockpit is wel geïnstalleerd als webinterface voor beheer.

Wat ik al gevonden of geprobeerd heb
In de syslog, ten tijde van de reboot vind ik het volgende terug bij 'Cloud-init':
Device = ens18, Up = 'false'.
Dus de (virtuele) netwerkkaart in kwestie is (nog) down.
Vervolgens bij NFS een aantal regels 'failed to mount'.Logisch, zonder netwerk

Wat verder nog opvalt verderop in het log:
docker systemd-networkd[726]: veth347613c: Link DOWN
Niet zeker of dat te maken heeft met het probleem, 1 van de Docker netwerken is ook (nog) down.

Ik kan niet echt wat vinden op het WWW over dit probleem wat relevant lijkt te zijn voor deze situatie. Ik had nog gehoop dat een aantal package updates het probleem vanzelf op zouden lossen, maar helaas. Server is helemaal up-to-date vanaf de datum van deze post.

[Hero of Time]

Wat is je netplan configuratie, welke interfaces heb je allemaal, hoe ziet je netwerkstack van Docker er uit en wat doet networkd hier nog extra bij?

De 'link DOWN' melding voor je docker/networkd is waarschijnlijk omdat het een interface wil up brengen wat direct afhankelijk is van je NIC die niet geconfigureerd lijkt te worden.

Wist je trouwens dat je met Proxmox ook gewoon direct containers kan draaien met Docker/Portainer? Dan heb je die hele Ubuntu VM niet nodig, als dat het enige is wat het doet (en nog minder overhead als je Proxmox alleen maar gebruikt om Ubuntu te draaien dat weer alleen Docker draait).

[Scally]

Hoi, mijn Netplan config kan je hier vinden: https://pastebin.com/F4ZRhXss

Hieronder het overzicht van alle netwerken vanuit Portainer:



Ik weet dat je LXC container kan draaien inderdaad. Maar dan moet ik alle volume mappings en NFS mappings rechtstreeks op m'n Proxmox host doen. Zal er es over denken. Als dit niet op te lossen is, kan ik altijd nog een keer wat nieuws opbouwen.
Vreemde is dat de config. wel lijkt te werken, alleen tijdens het bootproces niet.

[Hero of Time]

Je netplan ziet er logisch gezien ok uit. Heb zelf Ubuntu al in jaren niet gebruikt, dus kan er helaas voor jou geen direct oordeel over geven of het ook klopt of niet. Maar het zegt ook dat NetworkManager het blijkbaar heeft gemaakt. Wat zie je daar qua startup van systemd (let op, het is hoofdlettergevoelig). Het zou bij default autostart: true moeten zijn in systemd.

In /etc/NetworkManager/systemconnections zou je ook wat moeten kunnen zien. De map is alleen te lezen door root. Misschien is daar je NIC niet als auto-connect opgegeven, al zou dat ook wat raar zijn. Maar beter nagekeken dan niet doen en het daar in zitten.

[Scally]

De NetworkManager.conf ziet er als volgt uit:
[main]
plugins=ifupdown,keyfile

[ifupdown]
managed=false

[device]
wifi.scan-rand-mac-address=no

De systemconnections directory is leeg. Tijdje terug heb ik bij m'n andere virtuele Ubuntu servers ook de inhoud van Netplan bekeken (om consistentie te checken) en die hebben exact dezelfde layout maar geen netwerkprobleem bij opstarten of herstarten.

[Hero of Time]

Ik haak dan af, Ubuntu is te veel verandert sinds ik het laatst heb gebruikt en wijkt hiermee veel te veel af vergeleken met plain Debian wat ik zelf draai.

Net even snel gezocht en de eerste hit die ik bij ddg krijg is dit:
https://askubuntu.com/que...does-not-apply-at-startup
Je hebt toch niet Ubuntu met GUI geïnstalleerd om Docker te draaien, toch? Want bij eentje zit juist de applet van z'n DE in de weg.

[Scally]

Bedankt Hero. Nu wordt t misschien interessant. Ik zie een heleboel Degraded netwerken wanneer ik 'networkctl' uitvoer: https://pastebin.com/UV0JrGEy
Misschien moet ik die gewoon verwijderen. Dat ga ik morgen dan wel doen, komende nacht wordt ie volledig gebackupt zoals elke week. Als de boel stuk gaat dan kan ik makkelijk een restore doen

Nee, ik heb er bewust voor gekozen om bij al mijn Ubuntu servers geen GUI te installeren. Is niet nodig en scheelt resources. Managen via CLI of Cockpit gaat prima.

[edit: ik zie dat er af en toe wel data over de lijn gaat via de netwerken die Degraded zijn. Zal wel bij Docker horen.

[Voor 10% gewijzigd door Scally op 17-12-2022 19:36]

[Hero of Time]

Wilde zeggen, let even heel goed op waar die veth* adapters vandaan komen, want grote kans dat ze bij je containers horen. Degraded kan dan zijn omdat de container niet draait of er bepaalde eigenschappen niet zijn gezet waardoor networkctl denkt dat het niet in orde is.

[deHakkelaar]

Wat algemene diagnostics tips.
De systemd journals weergeven sinds boot (-b):

code:

journalctl --full -b

Of voor een specifieke systemd unit (-u):

code:

journalctl --full -b -u NetworkManager.service

Of voor meerdere units:

code:

journalctl --full -b -u NetworkManager.service -u networking.service

Je kunt ook greppen (-g):

code:

journalctl --full -b -g "SEARCH_EXPRESSION"

Voor een lijst van geladen systemd units:

code:

systemctl list-units

Of filteren voor het woordje "net":

code:

systemctl list-units "*net*"

network-manager heeft onderstaande om status weer te geven:

code:

nmcli

Check de man pages voor meer:

code:

man nmcli

Ik draai zelf ook geen netplan.io + network-manager combo dus weet ook niet zeker hoe ea in elkaar steekt voor Ubuntu server.

[Scally]

Bedankt deHakkelaar, ga ik bij een volgende reboot es uitproberen en kijken wat eruit komt.

[deHakkelaar]

Ow bijna vergeten, je kunt ook het follow argument (-f) toepassen als je de journals live wilt volgen eg:

code:

journalctl --full -b -f

Das misschien handig als wanneer je net na een reboot een handeling verricht en je wilt zien wat voor meldingen dat creeert.

Ow2: Waar ik ook naar zou kijken zijn de kernel ring buffer/logs:

code:

dmesg -T

Het gedeelt voor /sbin/init is de kernel die laadt.
En het gedeelte daarna is wanneer systemd wordt gespawned als PID 1:

pi@raspberrypi:~ $ dmesg -T | grep -B5 -A5 /sbin/init
[Mon Sep 12 05:11:48 2022] EXT4-fs (mmcblk0p2): mounted filesystem with ordered data mode. Opts: (null)
[Mon Sep 12 05:11:48 2022] VFS: Mounted root (ext4 filesystem) readonly on device 179:2.
[Mon Sep 12 05:11:48 2022] devtmpfs: mounted
[Mon Sep 12 05:11:48 2022] Freeing unused kernel memory: 428K
[Mon Sep 12 05:11:48 2022] Kernel memory protection not selected by kernel config.
[Mon Sep 12 05:11:48 2022] Run /sbin/init as init process
[Mon Sep 12 05:11:48 2022]   with arguments:
[Mon Sep 12 05:11:48 2022]     /sbin/init
[Mon Sep 12 05:11:48 2022]   with environment:
[Mon Sep 12 05:11:48 2022]     HOME=/
[Mon Sep 12 05:11:48 2022]     TERM=linux
[Mon Sep 12 05:11:48 2022] usb 1-1.1: new high-speed USB device number 3 using dwc_otg
[Mon Sep 12 05:11:48 2022] usb 1-1.1: New USB device found, idVendor=0424, idProduct=ec00, bcdDevice= 2.00

pi@raspberrypi:~ $ readlink -f /sbin/init
/usr/lib/systemd/systemd

Kernel modules etc die worden geladen zie je ook terug in de kernel ring buffer logs eg voor eth0:

pi@raspberrypi:~ $ dmesg -T | grep -B5 -A5 eth0
[Mon Sep 12 05:11:48 2022] usb 1-1.1: new high-speed USB device number 3 using dwc_otg
[Mon Sep 12 05:11:48 2022] usb 1-1.1: New USB device found, idVendor=0424, idProduct=ec00, bcdDevice= 2.00
[Mon Sep 12 05:11:48 2022] usb 1-1.1: New USB device strings: Mfr=0, Product=0, SerialNumber=0
[Mon Sep 12 05:11:48 2022] smsc95xx v2.0.0
[Mon Sep 12 05:11:49 2022] libphy: smsc95xx-mdiobus: probed
[Mon Sep 12 05:11:49 2022] smsc95xx 1-1.1:1.0 eth0: register 'smsc95xx' at usb-20980000.usb-1.1, smsc95xx USB 2.0 Ethernet, b8:27:eb:XX:XX:XX

pi@raspberrypi:~ $ grep . /sys/module/$(readlink /sys/class/net/eth0/device/driver/module | xargs -n 1 basename)/parameters/*
/sys/module/smsc95xx/parameters/packetsize:2560
/sys/module/smsc95xx/parameters/truesize_mode:N
/sys/module/smsc95xx/parameters/turbo_mode:Y

pi@raspberrypi:~ $ modinfo smsc95xx
name:           smsc95xx
filename:       (builtin)
license:        GPL
file:           drivers/net/usb/smsc95xx
description:    SMSC95XX USB 2.0 Ethernet Devices
author:         Steve Glendinning <[e-mail]>
author:         Nancy Lin
parm:           turbo_mode:Enable multiple frames per Rx transaction (bool)
parm:           truesize_mode:Report larger truesize value (bool)
parm:           packetsize:Override the RX URB packet size (int)
parm:           macaddr:MAC address (charp)

[Voor 91% gewijzigd door deHakkelaar op 18-12-2022 17:41]