Het grote Proxmox VE topic

[dcm360]

Naar aanleiding van wat berichten eerder hier, had ik pasgeleden ook de 5.11-kernel geïnstalleerd. Nu heb ik echter al 2 keer ervaren dat beide netwerkkaarten 'vastlopen' (ze komen op 'no carrier' te staan) tijdens hoge I/O-load. Er zitten echter ook net nieuwe schijven in de server (aan de extra sata-controller die ik eerder nog niet gebruikte), dus echt uitsluiten wat de veroorzaker is kan ik niet. Maar voor nu zit ik weer op kernel 5.4, en dan merk ik zondag wel (maandelijkse scrub) of het beter werkt.

[OsiriS.nl]

OsiriS.nl schreef op dinsdag 6 april 2021 @ 19:02:
[...]


Pff jah erg gaar. Het toch sterk het idee dat het wellicht iets in de bios is. Niks lijkt te helpen, acpi=off niet en ander OS (ubuntu) ook niet. Gekke is wel dat via IPMI een harde power off wel werkt dus voeding-mobo lijkt wel goed te werken denk ik dan..
Het moederbord is een jaar of 4 oud, een Supermicro X10 moederbordje..

Dan ga ik nog maar wat zoeken naar een speld....

Toch iets verder nu, of juist niet?

Nu ik iets meer debugging info heb aangezet krijg ik de volgende melding als allerlaatste voordat de pc hangt:
ACPI: preparing to enter system sleep state S5

Dit lijkt me geen proxmox issue maar eerder een hardware/kernel probleempje. Dus zal jullie hier verder met rust laten

[nero355]

OsiriS.nl schreef op dinsdag 6 april 2021 @ 19:02:
Pff jah erg gaar. Het toch sterk het idee dat het wellicht iets in de bios is. Niks lijkt te helpen, acpi=off niet en ander OS (ubuntu) ook niet. Gekke is wel dat via IPMI een harde power off wel werkt dus voeding-mobo lijkt wel goed te werken denk ik dan..
Het moederbord is een jaar of 4 oud, een Supermicro X10 moederbordje..

Dan ga ik nog maar wat zoeken naar een speld....

Check indien mogelijk ook effe of het niet de voeding is die gaar is geworden of iets dergelijks...

Het kan tenslotte toevallig allemaal op hetzelfde moment optreden... je weet het niet!

[OsiriS.nl]

nero355 schreef op woensdag 7 april 2021 @ 18:17:
[...]

Check indien mogelijk ook effe of het niet de voeding is die gaar is geworden of iets dergelijks...

Het kan tenslotte toevallig allemaal op hetzelfde moment optreden... je weet het niet!

Ja ben inmiddels in contact met Supermicro support. Heb alleen geen PSU met 2x 8 pin connector, wel met 4+4 pin connector. Helaas zegt manual dat dit de garantie void..

Zou ik als test (1 boot en shutdown) kunnen proberen met 1 4pin connector in elk van de 8 pin sockets?

[fuzzyduck]

Ik wil eens een dist-upgrade doen maar ik durf niet

Kan iemand mij uitleggen hoe ik precies op de juiste manier een snapshot maak van een zfs raid1 bootdisk op basis van grub? En hoe kom ik weer terug als er iets is gesloopt?

Via proxmox forum lees Ik steeds. Van die unsolved nèt niet antwoorden.

[ Voor 14% gewijzigd door fuzzyduck op 08-04-2021 14:35 ]

[dcm360]

Als het tijdens een dist-upgrade dusdanig stuk gaat dat booten niet meer lukt, zou je moeten starten vanaf een live-cd met ondersteuning voor ZFS. Dan kan je vanaf daar een rollback doen. Ik acht alleen de kans dat het dusdanig stuk gaat niet groot, vooral als je de juiste upgrade-instructies volgt. En zelfs als er iets mis gaat is het mogelijk zonder rollback te repareren, ik had het zelf gepresteerd om een systeem ergens half tussen Proxmox 5 en 6 te krijgen, en dat wou nog booten (maar geen containers of VM's starten).

[nero355]

OsiriS.nl schreef op woensdag 7 april 2021 @ 18:23:
Ja ben inmiddels in contact met Supermicro support. Heb alleen geen PSU met 2x 8 pin connector, wel met 4+4 pin connector. Helaas zegt manual dat dit de garantie void...

Nou ja zeg...

Raar beleid voeren ze daar!

Zou ik als test (1 boot en shutdown) kunnen proberen met 1 4pin connector in elk van de 8 pin sockets?

Zou ik niet doen, want die twee kan je niet delen voor zover ik weet

Je hebt gewoon een tweede kabel nodig en als je die niet hebt dan is dat jammer, maar zou het niks uit mogen maken zolang je niet een of andere zware stroom zuipende CPU erop monteert
Bij normale Mainstream en HEDT moederborden is het meer een extra voorziening voor OC gebruik zelfs!

fuzzyduck schreef op donderdag 8 april 2021 @ 13:57:
Ik wil eens een dist-upgrade doen maar ik durf niet

Kan iemand mij uitleggen hoe ik precies op de juiste manier een snapshot maak van een zfs raid1 bootdisk op basis van grub? En hoe kom ik weer terug als er iets is gesloopt?

Via proxmox forum lees Ik steeds. Van die unsolved nèt niet antwoorden.

Ik zou zeggen maak gewoon een image ervan en volg daarna netjes alles stappen om te upgrade te voltooien

[fuzzyduck]

nero355 schreef op donderdag 8 april 2021 @ 16:05:
[...]

Ik zou zeggen maak gewoon een image ervan en volg daarna netjes alles stappen om te upgrade te voltooien

Je bedoelt booten vanaf een thumb/cd en dan een image maken van de bootdisk? Dat is wel een beetje omslachtig als een snapshot ook kan. En het is leuk...omdat het kan, en ik er van wil leren.

[nero355]

fuzzyduck schreef op donderdag 8 april 2021 @ 16:08:
Je bedoelt booten vanaf een thumb/cd en dan een image maken van de bootdisk? Dat is wel een beetje omslachtig als een snapshot ook kan. En het is leuk...omdat het kan, en ik er van wil leren.

Ik speel graag safe en vind dat nog altijd de beste optie!

Je kan uiteraard altijd nog gaan spelen met alternatieve oplossingen afhankelijk van hoe belangrijk de server voor je is

[OsiriS.nl]

nero355 schreef op donderdag 8 april 2021 @ 16:05:
[...]

Nou ja zeg...

Raar beleid voeren ze daar!


[...]

Zou ik niet doen, want die twee kan je niet delen voor zover ik weet

Je hebt gewoon een tweede kabel nodig en als je die niet hebt dan is dat jammer, maar zou het niks uit mogen maken zolang je niet een of andere zware stroom zuipende CPU erop monteert
Bij normale Mainstream en HEDT moederborden is het meer een extra voorziening voor OC gebruik zelfs!

Je hebt gelijk, gisteren voor zekerheid een 2x molex naar 8pins verloopstukje besteld. Test voeding is 750W dus dat kan die wel aan. Net getest en zelfde probleem, gok dat het geen PSU issue is, misschien firmware foutje? Ben benieuwd naar de reactie van SM.

[A1AD]

Geen idee of deze al voorbij gekomen is: https://github.com/ddimick/proxmox-lxc-idmapper

code:

root@pve:/bds/apps/tools/proxmox-lxc-idmapper# python3 run.py 1320 33

# Add to /etc/pve/lxc/<container_id>.conf:
lxc.idmap: u 0 100000 33
lxc.idmap: g 0 100000 33
lxc.idmap: u 33 33 1
lxc.idmap: g 33 33 1
lxc.idmap: u 34 100034 1286
lxc.idmap: g 34 100034 1286
lxc.idmap: u 1320 1320 1
lxc.idmap: g 1320 1320 1
lxc.idmap: u 1321 101321 64215
lxc.idmap: g 1321 101321 64215

# Add to /etc/subuid:
root:33:1
root:1320:1

# Add to /etc/subgid:
root:33:1
root:1320:1

Edit: iets voor in de topic post!

[ Voor 72% gewijzigd door A1AD op 09-04-2021 21:30 ]

[icecreamfarmer]

Een crosspost van de ze post maar ik denk dat hij hier beter tot zijn recht komt.
icecreamfarmer in "Welk OS voor een Domotica / NAS combi server?"

In het kort komt het er op neer of het voor mij nut heeft om de VM van OpenVaultMedia te gebruiken ipv gewoon een sambashare aan te maken op Proxmox.

Is het een veiliger dan het ander of maakt het niet uit?
Er wordt een usb3 disk van 5tb met media op aangesloten.

[rachez]

Persoonlijk gebruik ik een nfs share op proxmox om bestanden te delen tussen vm's, zonder enig probleem.

Proxmox is onder water gewoon debian, dus ja, dmv samba bestanden delen kan ook prima, als je alleen die functionaliteit zoekt.

[icecreamfarmer]

rachez schreef op zondag 11 april 2021 @ 18:19:
Persoonlijk gebruik ik een nfs share op proxmox om bestanden te delen tussen vm's, zonder enig probleem.

Proxmox is onder water gewoon debian, dus ja, dmv samba bestanden delen kan ook prima, als je alleen die functionaliteit zoekt.

Het is een al bestaande schijf met data erop.
Dan kan ik beter dit gebruiken denk ik (Turnkeylinux fileserver template)?
Want een nfs/cifs share aanmaken zorgt ervoor dat de schijf gewist wordt als ik het goed begrepen heb.

[Theone098]

icecreamfarmer schreef op zondag 11 april 2021 @ 20:02:
[...]


Het is een al bestaande schijf met data erop.
Dan kan ik beter dit gebruiken denk ik (Turnkeylinux fileserver template)?
Want een nfs/cifs share aanmaken zorgt ervoor dat de schijf gewist wordt als ik het goed begrepen heb.

Ik weet niet hoe je aan die info komt maar een share aanmaken wis je geen data mee.

[icecreamfarmer]

Theone098 schreef op zondag 11 april 2021 @ 20:14:
[...]

Ik weet niet hoe je aan die info komt maar een share aanmaken wis je geen data mee.

Ik zie nu dat het dan gaat om het toevoegen van een share niet aan het maken (uitzenden ) van een share. Dat laatste werkt alleen met ZFS en dan moet ik de huidige drive wissen plus dat maakt hem onbruikbaar voor andere apparaten.

Moet dus iets van sambashare installeren.

[ Voor 21% gewijzigd door icecreamfarmer op 11-04-2021 21:32 ]

[A1AD]

icecreamfarmer schreef op zondag 11 april 2021 @ 20:53:
[...]


Ik zie nu dat het dan gaat om het toevoegen van een share niet aan het maken (uitzenden ) van een share. Dat laatste werkt alleen met ZFS en dan moet ik de huidige drive wissen plus dat maakt hem onbruikbaar voor andere apparaten.

Moet dus iets van sambashare installeren.

Zou je het niet beter bij Windows houden? Mbv Docker oid?

[icecreamfarmer]

A1AD schreef op zondag 11 april 2021 @ 22:05:
[...]


Zou je het niet beter bij Windows houden? Mbv Docker oid?

Nee want ik draai alles vanaf een thinclient.
Het is even pionieren maar we zijn er bijna.

[rachez]

In mijn geval is mijn nas de nfs server en ik gebruik het os van proxmox als een nfs client. Dus ik stel bestanden beschikbaar vanaf mijn nas en gebruik die op mijn proxmox server.

Als ik wil dat een vm op mijn proxmox server gebruik maakt van dezelfde nfs share maak ik een autofs entry of fstab entry aan op de betreffende vm.

[Theone098]

rachez schreef op maandag 12 april 2021 @ 19:35:
In mijn geval is mijn nas de nfs server en ik gebruik het os van proxmox als een nfs client. Dus ik stel bestanden beschikbaar vanaf mijn nas en gebruik die op mijn proxmox server.

Als ik wil dat een vm op mijn proxmox server gebruik maakt van dezelfde nfs share maak ik een autofs entry of fstab entry aan op de betreffende vm.

Yep, zo doe ik het ook al gebruik ik local storage voor de VM's en het NAS als destination voor de back-up.
Even voor de goede orde: de fstab entry, die maak je toch rechtstreeks naar een share op het NAS?

[rachez]

Yes, vanuit fstab rechtstreeks naar een nfs share op de nas.
Voor mijn vm's gebruik ik ook local storage: 1TB ssd's zijn de kosten tegenwoordig niet meer

[barrymossel]

Ik wil Wireguard installeren, maar geen idee hoe en ik kom er ook niet echt uit. Geprobeerd om hem in docker te draaien.
Dit op de host uitgevoerd:

echo "deb http://deb.debian.org/debian/ unstable main" > /etc/apt/sources.list.d/unstable-wireguard.list
printf 'Package: *\nPin: release a=unstable\nPin-Priority: 90\n' > /etc/apt/preferences.d/limit-unstable
apt update
apt install wireguard pve-headers

Maar werkend krijg ik het niet. Het lijkt of ik via mijn telefoon connectie maak, maar ik kom niet op mijn netwerk of op internet via de VPN.

Daarna de Wireguard CT van Turnkey geprobeerd, maar ook daar kwam ik er uiteindelijk niet.

Wat is nu de beste/fijnste methode om Wireguard te installeren? Of gaat het eigelijk allemaal goed, alleen stel ik dat hele Wireguard niet goed in?

Kan iemand me aan het handje nemen?

[DRaakje]

barrymossel schreef op woensdag 14 april 2021 @ 20:44:
Ik wil Wireguard installeren, maar geen idee hoe en ik kom er ook niet echt uit. Geprobeerd om hem in docker te draaien.
Dit op de host uitgevoerd:

Ik heb het draaiende in the Debian VM met docker. De image die ik gebruikte was: https://docs.linuxserver.io/images/docker-wireguard

Daar staan ook de instellingen e.d.

Daarnaast heb ik alleen de porten geforward.

[barrymossel]

DRaakje schreef op woensdag 14 april 2021 @ 21:07:
[...]


Ik heb het draaiende in the Debian VM met docker. De image die ik gebruikte was: https://docs.linuxserver.io/images/docker-wireguard

Dezelfde image.

Daar staan ook de instellingen e.d.

Vrijwel identieke instellingen

Daarnaast heb ik alleen de porten geforward.

Je noemt poortEN? Maar in principe toch alleen 51820 UDP?

Heb ik allemaal gedaan. Dan via:

code:

docker exec -it wireguard /app/show-peer 1

QR opvragen en in de Android app laden. Maar geen verbinding, niks.

[Goof2000]

barrymossel schreef op woensdag 14 april 2021 @ 21:26:
[...]

Dezelfde image.

[...]

Vrijwel identieke instellingen

[...]

Je noemt poortEN? Maar in principe toch alleen 51820 UDP?

Heb ik allemaal gedaan. Dan via:

code:

docker exec -it wireguard /app/show-peer 1

QR opvragen en in de Android app laden. Maar geen verbinding, niks.

Herkenbaar, bij mij was het toverwoord firewall

[ Voor 10% gewijzigd door Goof2000 op 14-04-2021 22:09 ]

[barrymossel]

barrymossel schreef op woensdag 14 april 2021 @ 20:44:
Ik wil Wireguard installeren, maar geen idee hoe en ik kom er ook niet echt uit. Geprobeerd om hem in docker te draaien.
Dit op de host uitgevoerd:


[...]


Maar werkend krijg ik het niet. Het lijkt of ik via mijn telefoon connectie maak, maar ik kom niet op mijn netwerk of op internet via de VPN.

Daarna de Wireguard CT van Turnkey geprobeerd, maar ook daar kwam ik er uiteindelijk niet.

Wat is nu de beste/fijnste methode om Wireguard te installeren? Of gaat het eigelijk allemaal goed, alleen stel ik dat hele Wireguard niet goed in?

Kan iemand me aan het handje nemen?

Nou, ik werk met docker in een Ubuntu LXC. Dat werkte dus allemaal niet. Nu Ubuntu VM gemaakt en daar werkt het meteen. De komende dagen de andere docker containers maar overzetten naar de VM.

[ Voor 64% gewijzigd door barrymossel op 14-04-2021 22:58 ]

[RobertMe]

barrymossel schreef op woensdag 14 april 2021 @ 22:58:
[...]


Nou, ik werk met docker in een Ubuntu LXC. Dat werkte dus allemaal niet. Nu Ubuntu VM gemaakt en daar werkt het meteen. De komende dagen de andere docker containers maar overzetten naar de VM.

Docker in LXC kan, maar je moet dan Debian gebruiken. Dit omdat Proxmox ook Debian is en Docker op bepaalde manieren interfaced met de kernel waardoor de "LXC container" exact hetzelfde moet doen als de host. Daarnaast moet je vervolgens bij de opties van de container ergens keyctl en nesting aan zetten en dan werkt het. Tenzij je ZFS gebruikt. Maar dit hele verhaaltje, inclusief ZFS stukje, is hier ook al vaker langs gekomen en is o.a. door mij al eerder uitgelegd

[JayOne]

RobertMe schreef op woensdag 14 april 2021 @ 23:08:
[...]

Docker in LXC kan, maar je moet dan Debian gebruiken. Dit omdat Proxmox ook Debian is en Docker op bepaalde manieren interfaced met de kernel waardoor de "LXC container" exact hetzelfde moet doen als de host. Daarnaast moet je vervolgens bij de opties van de container ergens keyctl en nesting aan zetten en dan werkt het. Tenzij je ZFS gebruikt. Maar dit hele verhaaltje, inclusief ZFS stukje, is hier ook al vaker langs gekomen en is o.a. door mij al eerder uitgelegd

Heb zelf Docker zonder problemen in een LXC op basis van Ubuntu te draaien. Kreeg alleen Pi-Hole niet aan de praat. Dit had te maken met het feit dat het een unprivileged LXC was. Voor Pi-Hole/Unbound heb ik nu een priviliged LXC te draaien. Wellicht dat hierdoor het probleem van @barrymossel ook wordt veroorzaakt.

[barrymossel]

RobertMe schreef op woensdag 14 april 2021 @ 23:08:
[...]
Maar dit hele verhaaltje, inclusief ZFS stukje, is hier ook al vaker langs gekomen en is o.a. door mij al eerder uitgelegd

Cool.

[barrymossel]

Vandaag een LXC proberen te stoppen. Hele systeem loopt vast en het disk-lampje op m'n NUC kleurt steevast oranje. Stroom eraf en er weer op en alles werkt weer. Lijkt erg op dat issue wat ik eerder had (met die Kingston A2000 die er dus nog in zit). Kan dit nog steeds, met de nieuwste kernel, hier aan liggen? En moet ik dus gewoon een andere SSD aanschaffen? Of moet ik het ergens anders zoeken?

[rachez]

Sinds ik die Kingston A2000 twee maanden geleden uit mijn nuc heb gehaald geen last meer van vastlopers met proxmox gehad, dus ik zou het zeker niet uitsluiten.

Maar goed ik heb de nieuwste kernel ook nooit geprobeerd.

[A1AD]

Ik heb verschillende docker LXCs op Ubuntu draaien. Wel op een LVM datadisk want ZFS werkt niet

[RobertMe]

A1AD schreef op vrijdag 16 april 2021 @ 13:08:
Ik heb verschillende docker LXCs op Ubuntu draaien. Wel op een LVM datadisk want ZFS werkt niet

Werkt wel, maar work-a-round is nodig. Zvol aanmaken, ext4 formatteren, en die mounten in /var/lib/docker. En wellicht dat je dan nog een /etc/docker/daemon.conf aan moet maken om de driver op overlay2 te zetten (niet zeker of dat dan nog nodig is). En wellicht werkt andersom ook, alleen de driver instellen.

Maar correct, standaard ziet Docker dat die bovenop ZFS draait en wil dan met ZFS backend werken, wat niet kan.

[nero355]

barrymossel schreef op woensdag 14 april 2021 @ 20:44:
Ik wil Wireguard installeren, maar geen idee hoe en ik kom er ook niet echt uit. Geprobeerd om hem in docker te draaien.

De simpelste methode naar mijn mening :

- Maak een Debian VM aan.
- installeer PiVPN.
- Kies voor Wireguard.
- Effe laten pruttelen...

KLAAR!!!

Andere optie :
- Maak een Debian VM aan.
- Installeer OpenVPN
- Installeer WebMin
- Installeer de OpenVPN WebMin module.

En gaan met die banaan!

[A1AD]

RobertMe schreef op vrijdag 16 april 2021 @ 13:41:
[...]

Werkt wel, maar work-a-round is nodig. Zvol aanmaken, ext4 formatteren, en die mounten in /var/lib/docker. En wellicht dat je dan nog een /etc/docker/daemon.conf aan moet maken om de driver op overlay2 te zetten (niet zeker of dat dan nog nodig is). En wellicht werkt andersom ook, alleen de driver instellen.

Maar correct, standaard ziet Docker dat die bovenop ZFS draait en wil dan met ZFS backend werken, wat niet kan.

Dan zit je niet meer binnen Docker op ZFS te werken...dus nee Docker in een zfs root lxc werkt nog steeds niet

[RobertMe]

A1AD schreef op vrijdag 16 april 2021 @ 17:02:
[...]


Dan zit je niet meer binnen Docker op ZFS te werken...dus nee Docker in een zfs root lxc werkt nog steeds niet

Dat ligt eraan hoe je het bekijkt. De root van de LXC container staat nog steeds in een ZFS dataset, en nouja, de Docker ("interne") data (zoals dus de gedownloade images, volumes) staat dan nog steeds bovenop een zvol en is ook te snapshotten met ZFS bijvoorbeeld. Maar Dicker zelf ziet inderdaad ext4, maar eigenlijk is dat ook wel fijn, want Docker op ZFS maakt voor elke layer datasets aan, die worden weer gecloned, ... oftewel, Docker met de ZFS driver geeft een grote rotzooi als je bv een zfs list doet. Dus ik vind het wel goed zo Docker data die ik toch niet nodig heb (de images, en state van containers. Volumes gebruik ik niet, maar in de plaats dan bind-mounts) wordt niet gesnapshot (en gebackupd) en daar heb ik ook absoluut geen problemen mee.

[A1AD]

@RobertMe Ik bekijk het van: Docker in LXC op ZFS kan geen ZFS driver gebruiken...

[barrymossel]

nero355 schreef op vrijdag 16 april 2021 @ 16:53:
[...]

De simpelste methode naar mijn mening :

- Maak een Debian VM aan.
- installeer PiVPN.
- Kies voor Wireguard.
- Effe laten pruttelen...

KLAAR!!!

Andere optie :
- Maak een Debian VM aan.
- Installeer OpenVPN
- Installeer WebMin
- Installeer de OpenVPN WebMin module.

En gaan met die banaan!

Ik moest gewoon een VM draaien (en daarin docker) en niet een LXC. Werkte direct

[RobertMe]

A1AD schreef op vrijdag 16 april 2021 @ 17:42:
@RobertMe Ik bekijk het van: Docker in LXC op ZFS kan geen ZFS driver gebruiken...

Dat is correct, maar zoals ik al aangaf / liet doorschemeren, ik ben daar eigenlijk wel blij mee. Omdat Docker dus een enorme hoeveelheid aan datasets aanmaakt en daarmee een simpele zfs list een grote lijst aan rotzooi laat zien.

Overigens, daarnaast, als je Docker in een LXC container draait en alles staat op ZFS dan kan Docker dus niet de ZFS driver gebruiken. Maar ik heb zo'n vermoeden dat Docker op LXC op LVM ook geen ZFS kan gebruiken. Dus ja, feitelijk heb je gelijk. Maar je kunt wel Docker draaien in LXC als je Proxmox met ZFS hebt draaien, alleen dan inderdaad via een zvol dat je (bv) met ext formatteert. Maar Docker met ZFS driver zal inderdaad alleen lukken met een VM.

[A1AD]

RobertMe schreef op vrijdag 16 april 2021 @ 18:21:
[...]

Dat is correct, maar zoals ik al aangaf / liet doorschemeren, ik ben daar eigenlijk wel blij mee. Omdat Docker dus een enorme hoeveelheid aan datasets aanmaakt en daarmee een simpele zfs list een grote lijst aan rotzooi laat zien.

Overigens, daarnaast, als je Docker in een LXC container draait en alles staat op ZFS dan kan Docker dus niet de ZFS driver gebruiken. Maar ik heb zo'n vermoeden dat Docker op LXC op LVM ook geen ZFS kan gebruiken. Dus ja, feitelijk heb je gelijk. Maar je kunt wel Docker draaien in LXC als je Proxmox met ZFS hebt draaien, alleen dan inderdaad via een zvol dat je (bv) met ext formatteert. Maar Docker met ZFS driver zal inderdaad alleen lukken met een VM.

Eigenlijk zeggen we allebei gewoon hetzelfde, maar jij met meer woorden

[Yarisken]

Boys, even een vraagje. Ik ben een esxi gebruiker. Echter met versie 7.0 kan je enkel via usb netwerk adapter nog deftig een homelab mini pc aan de praat krijgen.
Dus ik ben aan het kijken naar proxmox. Ik heb nu installatie klaar en ik ben aan het kijken om een extra HD toe te voegen. Als ik zoek op google lees ik dat je dit moet toevoegen via de command line, f-disk. Klopt dit ? Is dit de enigste mogelijkheid ?

[ocaj]

Even een upgrade-vraagje.

Ik laat mijn proxmox-server in principe altijd draaien en doe dus maar af en toe (1 a 2 keer per jaar of zo) een "apt upgrade", nu wilde ik dat vanmorgen doen en ik zag:

code:

root@pve:~# apt upgrade
Reading package lists... Done
Building dependency tree       
Reading state information... Done
Calculating upgrade... Done
The following NEW packages will be installed:
  pve-kernel-5.4.106-1-pve
The following packages have been kept back:
  zfs-initramfs zfs-zed zfsutils-linux
The following packages will be upgraded:
  base-files bind9-host ca-certificates corosync curl debian-archive-keyring dnsutils file groff-base iproute2 iputils-ping libavahi-client3
  libavahi-common-data libavahi-common3 libbind9-161 libbsd0 libcairo2 libcfg7 libcmap4 libcorosync-common4 libcpg4 libcurl3-gnutls libcurl4
  libdns-export1104 libdns1104 libgnutls30 libgnutlsxx28 libirs161 libisc-export1100 libisc1100 libisccc161 libisccfg163 libjs-jquery libjs-underscore
  libknet1 libldap-2.4-2 libldap-common libldb1 liblwres161 libmagic-mgc libmagic1 libnss-systemd libp11-kit0 libpam-systemd libproxmox-acme-perl
  libproxmox-backup-qemu0 libpve-common-perl libpve-guest-common-perl libpve-storage-perl libpython3.7 libpython3.7-minimal libpython3.7-stdlib libquorum5
  libssl1.1 libsystemd0 libudev1 libvotequorum8 libzstd1 linux-libc-dev lxc-pve lxcfs openssl proxmox-backup-client proxmox-widget-toolkit pve-container
  pve-firmware pve-i18n pve-kernel-5.4 pve-kernel-helper pve-manager pve-qemu-kvm python3.7 python3.7-minimal qemu-server smartmontools spl systemd
  systemd-sysv tzdata udev zstd
81 upgraded, 1 newly installed, 0 to remove and 3 not upgraded.
Need to get 180 MB of archives.
After this operation, 466 MB of additional disk space will be used.
Do you want to continue? [Y/n]

Wat ik nooit eerder gezien heb was deze regel:

code:

The following packages have been kept back:
  zfs-initramfs zfs-zed zfsutils-linux

Aangezien één van de redenen dat ik wilde gaan updaten de overstap naar zfs 2.0+ is, vind ik het vreemd dat hij juist die pakketten niet meeneemt?
Wat is daar de reden voor? Normaal gesproken zou je toch verwachten dat bij een "apt upgrade" óók zfs mee-geupdate wordt?

[strandbal]

Is het niet zo dat die packages een nieuwe kernel vereisen ofzo, die je dus eerst moet installeren? Dat 'ie ze wel installeert nadat je in de nieuwe kernel hebt geboot? Wilde gok

[ocaj]

@strandbal Ik dacht, doe eens wild en neem de gok (je moet wat op een mistige zondag-ochtend...), maar nee. Ook na een apt update van de rest en een reboot blijven deze 3 packages "kept back".

[RobertMe]

ocaj schreef op zondag 18 april 2021 @ 08:30:
Even een upgrade-vraagje.

Ik laat mijn proxmox-server in principe altijd draaien en doe dus maar af en toe (1 a 2 keer per jaar of zo) een "apt upgrade", nu wilde ik dat vanmorgen doen en ik zag:

code:

root@pve:~# apt upgrade
Reading package lists... Done
Building dependency tree       
Reading state information... Done
Calculating upgrade... Done
The following NEW packages will be installed:
  pve-kernel-5.4.106-1-pve
The following packages have been kept back:
  zfs-initramfs zfs-zed zfsutils-linux
The following packages will be upgraded:
  base-files bind9-host ca-certificates corosync curl debian-archive-keyring dnsutils file groff-base iproute2 iputils-ping libavahi-client3
  libavahi-common-data libavahi-common3 libbind9-161 libbsd0 libcairo2 libcfg7 libcmap4 libcorosync-common4 libcpg4 libcurl3-gnutls libcurl4
  libdns-export1104 libdns1104 libgnutls30 libgnutlsxx28 libirs161 libisc-export1100 libisc1100 libisccc161 libisccfg163 libjs-jquery libjs-underscore
  libknet1 libldap-2.4-2 libldap-common libldb1 liblwres161 libmagic-mgc libmagic1 libnss-systemd libp11-kit0 libpam-systemd libproxmox-acme-perl
  libproxmox-backup-qemu0 libpve-common-perl libpve-guest-common-perl libpve-storage-perl libpython3.7 libpython3.7-minimal libpython3.7-stdlib libquorum5
  libssl1.1 libsystemd0 libudev1 libvotequorum8 libzstd1 linux-libc-dev lxc-pve lxcfs openssl proxmox-backup-client proxmox-widget-toolkit pve-container
  pve-firmware pve-i18n pve-kernel-5.4 pve-kernel-helper pve-manager pve-qemu-kvm python3.7 python3.7-minimal qemu-server smartmontools spl systemd
  systemd-sysv tzdata udev zstd
81 upgraded, 1 newly installed, 0 to remove and 3 not upgraded.
Need to get 180 MB of archives.
After this operation, 466 MB of additional disk space will be used.
Do you want to continue? [Y/n]

Wat ik nooit eerder gezien heb was deze regel:

code:

The following packages have been kept back:
  zfs-initramfs zfs-zed zfsutils-linux

Aangezien één van de redenen dat ik wilde gaan updaten de overstap naar zfs 2.0+ is, vind ik het vreemd dat hij juist die pakketten niet meeneemt?
Wat is daar de reden voor? Normaal gesproken zou je toch verwachten dat bij een "apt upgrade" óók zfs mee-geupdate wordt?

Is dit niet toevallig het verschil tussen upgrade en dist-upgrade? Bij een gewone upgrade is het volgens mij in ieder geval zo dat niet altijd alles wordt geupgrade.

[ocaj]

@RobertMe Je hebt gelijk. Ik heb nu een dist-upgrade gedaan en dan doet hij het inderdaad wel.

Ik meende juist ergens gelezen te hebben dat je de dist-upgrade eigenlijk nooit nodig hebt en potentieel gevaarlijk kan zijn en dat een gewone upgrade zou moeten volstaan.

Blijkbaar zijn er toch ook redenen voor een dist-ugrade. Weer wat geleerd!

[Freeaqingme]

Die dist-upgrade is inderdaad overkill. Wat je ook had kunnen doen:

code:

apt-get update
apt-get upgrade
apt-get install zfs-initramfs zfs-zed zfsutils-linux

Waarom die 3 packages niet automatisch geupdated worden is vermoedelijk omdat er daarbij nieuwe packages (dependencies) geinstalleerd worden.

[haborym]

Ik kan me herrineren dat ik het eerder in dit topic had gezien maar kan het niet terug vinden.

Mijn issue:
Ik heb een raidz2 pool met 4 disken van WD. Daar staat al me data op. Als ik een groot bestand kopieer (2gb+) dan begint die met 110mb (dus volle 1gb lijn) en daarna zakt die naar 30mb of lager naar 0 om vervolgens weer omhoog te gaan tot 110mb.
Ik zie ook dat de i/o latency omhoog schiet. De cpu blijft rond de 30% dus niet heel spannend.
Er zit 32gb in mijn server en die heeft op het moment van kopieren dan nog zeker 10gb vrij.

Ik had verwacht dat de server gewoon 110mb kon blijven sturen. Is mijn verwachting onjuist of moet ik nog wat instellingen doen?

[_JGC_]

@haborym Welke disks heb je? SMR disks? Daarnaast vind ik je keuze voor RAIDZ2 met 4 disks een beetje vreemd. Met 4 disks had ik eerder gekozen voor striped mirror.

[haborym]

_JGC_ schreef op zondag 18 april 2021 @ 12:11:
@haborym Welke disks heb je? SMR disks? Daarnaast vind ik je keuze voor RAIDZ2 met 4 disks een beetje vreemd. Met 4 disks had ik eerder gekozen voor striped mirror.

Ik heb specifiek voor 4 cmr disken gekozen van wd. Allemaal moeten ze 150mb/s aankunnen.
Had geen geld voor een 5e disk , zou ik dat moeten omzetten?

[ocaj]

Freeaqingme schreef op zondag 18 april 2021 @ 10:20:
Die dist-upgrade is inderdaad overkill. Wat je ook had kunnen doen:

code:

apt-get update
apt-get upgrade
apt-get install zfs-initramfs zfs-zed zfsutils-linux

Waarom die 3 packages niet automatisch geupdated worden is vermoedelijk omdat er daarbij nieuwe packages (dependencies) geinstalleerd worden.

Bij de dist-upgrade kwam wel een hint wat de reden was:

code:

The following packages will be REMOVED:
  libnvpair1linux libuutil1linux libzfs2linux libzpool2linux
The following NEW packages will be installed:
  libnvpair3linux libuutil3linux libzfs4linux libzpool4linux
The following packages will be upgraded:
  zfs-initramfs zfs-zed zfsutils-linux
3 upgraded, 4 newly installed, 4 to remove and 0 not upgraded.

Waarom die packages een (versie?)nummer in hun naam hebben weet ik niet, maar het leek me een prima stap.
apt-get install had ik dan weer niet zo logisch gevonden. Die waren al geïnstalleerd? Bovendien leek het me een beetje "spannend" om eerst de zfsutils te verwijderen en dan weer te herinstalleren als zowel rpool als data op een zfs-schijf staan...
In ieder geval werkt alles nu weer prima.

[maxxie85]

ocaj schreef op zondag 18 april 2021 @ 09:17:
@RobertMe Je hebt gelijk. Ik heb nu een dist-upgrade gedaan en dan doet hij het inderdaad wel.

Ik meende juist ergens gelezen te hebben dat je de dist-upgrade eigenlijk nooit nodig hebt en potentieel gevaarlijk kan zijn en dat een gewone upgrade zou moeten volstaan.

Blijkbaar zijn er toch ook redenen voor een dist-ugrade. Weer wat geleerd!

In de gewone Debian wereld is dat zo. Echter bij Proxmox wordt het ten zeerste aangeraden om dist-upgrade te gebruiken en is het juist gevaarlijk als je dat niet doet.

[nero355]

haborym schreef op zondag 18 april 2021 @ 11:10:
Ik kan me herrineren dat ik het eerder in dit topic had gezien maar kan het niet terug vinden.

Mijn issue:
Ik heb een raidz2 pool met 4 disken van WD. Daar staat al me data op. Als ik een groot bestand kopieer (2gb+) dan begint die met 110mb (dus volle 1gb lijn) en daarna zakt die naar 30mb of lager naar 0 om vervolgens weer omhoog te gaan tot 110mb.
Ik zie ook dat de i/o latency omhoog schiet. De cpu blijft rond de 30% dus niet heel spannend.
Er zit 32gb in mijn server en die heeft op het moment van kopieren dan nog zeker 10gb vrij.

Ik had verwacht dat de server gewoon 110mb kon blijven sturen. Is mijn verwachting onjuist of moet ik nog wat instellingen doen?

Doe je dat via Samba

Kijk dan eens naar de settings daarvan, want mogelijk zit daar wat scheef : Ik haal met een simpele G1820 met 16 GB RAM en 6 x 2 TB in RAIDZ2 gewoon makkelijk de volle 1 Gbps via Samba onder Debian Testing van dit moment

ocaj schreef op zondag 18 april 2021 @ 08:30:
Even een upgrade-vraagje.

Ik laat mijn proxmox-server in principe altijd draaien en doe dus maar af en toe (1 a 2 keer per jaar of zo) een "apt upgrade", nu wilde ik dat vanmorgen doen en ik zag:

code:

root@pve:~# apt upgrade
Reading package lists... Done
Building dependency tree       
Reading state information... Done
Calculating upgrade... Done
The following NEW packages will be installed:
  pve-kernel-5.4.106-1-pve
The following packages have been kept back:
  zfs-initramfs zfs-zed zfsutils-linux
The following packages will be upgraded:
  base-files bind9-host ca-certificates corosync curl debian-archive-keyring dnsutils file groff-base iproute2 iputils-ping libavahi-client3
  libavahi-common-data libavahi-common3 libbind9-161 libbsd0 libcairo2 libcfg7 libcmap4 libcorosync-common4 libcpg4 libcurl3-gnutls libcurl4
  libdns-export1104 libdns1104 libgnutls30 libgnutlsxx28 libirs161 libisc-export1100 libisc1100 libisccc161 libisccfg163 libjs-jquery libjs-underscore
  libknet1 libldap-2.4-2 libldap-common libldb1 liblwres161 libmagic-mgc libmagic1 libnss-systemd libp11-kit0 libpam-systemd libproxmox-acme-perl
  libproxmox-backup-qemu0 libpve-common-perl libpve-guest-common-perl libpve-storage-perl libpython3.7 libpython3.7-minimal libpython3.7-stdlib libquorum5
  libssl1.1 libsystemd0 libudev1 libvotequorum8 libzstd1 linux-libc-dev lxc-pve lxcfs openssl proxmox-backup-client proxmox-widget-toolkit pve-container
  pve-firmware pve-i18n pve-kernel-5.4 pve-kernel-helper pve-manager pve-qemu-kvm python3.7 python3.7-minimal qemu-server smartmontools spl systemd
  systemd-sysv tzdata udev zstd
81 upgraded, 1 newly installed, 0 to remove and 3 not upgraded.
Need to get 180 MB of archives.
After this operation, 466 MB of additional disk space will be used.
Do you want to continue? [Y/n]

Wat ik nooit eerder gezien heb was deze regel:

code:

The following packages have been kept back:
  zfs-initramfs zfs-zed zfsutils-linux

Aangezien één van de redenen dat ik wilde gaan updaten de overstap naar zfs 2.0+ is, vind ik het vreemd dat hij juist die pakketten niet meeneemt?
Wat is daar de reden voor? Normaal gesproken zou je toch verwachten dat bij een "apt upgrade" óók zfs mee-geupdate wordt?

strandbal schreef op zondag 18 april 2021 @ 08:33:
Is het niet zo dat die packages een nieuwe kernel vereisen ofzo, die je dus eerst moet installeren? Dat 'ie ze wel installeert nadat je in de nieuwe kernel hebt geboot? Wilde gok

Voor wat het waard is :

Ik moest onder Debian Testing vanaf Kernel 5.4 naar 5.10 upgraden om ZFS 2.0 te kunnen gebruiken!

Wat er gebeurde :
- Ik installeerde ZFS gewoon via APT.
- Zag libraries en initramfs en dergelijken voor Kernel 5.10 langskomen.
- Na de installatie kon ik niks met ZFS doen.
- Wat ik verder ook nog meer deed : Ik kon nog steeds niks met ZFS doen!
- Nadat ik Kernel 5.10 had geinstalleerd werkte alles als een trein!

Verder kan ik niet testen wat mijn Proxmox bakkie doet/zegt over ZFS op dit moment, want die heb ik onlangs van haar voeding moeten beroven

[martijnvdk26]

Hallo allemaal, ik wil graag voor mijn opleiding (ict en netwerkbeheer) een proxmox server aanschaffen. Ik heb een klein beetje verstand van hardware, maar ik kan er toch niet helemaal uit komen. Ik zou graag een kleine pc willen, die redelijk energiezuinig is en het liefst 16gb ram of meer. Mijn budget zit rond de 500 euro. Wat raden jullie aan? Graag hoor ik het van jullie. Met vriendelijke groet,
Martijn

[FreshMaker]

martijnvdk26 schreef op zondag 18 april 2021 @ 23:27:
Mijn budget zit rond de 500 euro.

Zoek wat rond op refurbished, ik kom de optiplex 3040/3060 tegen rond die prijs.
Of de Prodesk series van HP, beiden in SFF of Micro uitvoeringen.

Zelf heb ik een Optiplex 3060, wat een i3 T8100 is, met 8GB.
Hier past een M2-ssd en een 2.5" (SSD/HDD) in, en werkt al zeker een jaar geweldig als kleine server.

Een 5 of 6 VM's op de SSd's ( ik heb een 256NVME en 500GB EVO ) en de data extern op een USB3 HDD ( 6TB )

[ Voor 6% gewijzigd door FreshMaker op 18-04-2021 23:54 ]

[3raser]

Momenteel heb ik een VM (met Windows OS) welke Domoticz draait en gebruik maakt van een USB apparaat (een Zwave stick) die op de host is aangesloten. Dit USB apparaat is via de hardware tab in de web GUI gekoppeld aan de VM (zie screenshot) en bij iedere herstart wordt dit device dan ook automatisch aan de VM gekoppeld. Geen problemen daar.



Nu wil ik dit USB apparaat niet meer op deze VM gebruiken maar koppelen aan een nieuwe LXC met Ubuntu OS. Echter, LXC containers hebben in de web GUI helemaal geen hardware tab. Na de installatie van Ubuntu kan ik het apparaat wel zien via het commando 'lsusb'. Maar in Domoticz zie ik de hardware niet dus ik ga er vanuit dat hij niet werkt of in ieder geval niet beschikbaar is. Mijn vraag is dus, hoe gebruik ik het USB apparaat in deze container?
Ik heb uiteraard al even gegoogled en dan kom ik een heleboel commando's tegen die ik op de host zelf uit zou moeten voeren terwijl ik het idee heb dat dat veel te veel werk is als je het vergelijkt met een VM. Is het gebruik van een USB apparaat in een container echt zo omslachtig? Enige uitleg is zeer welkom.

[m.eddy]

martijnvdk26 schreef op zondag 18 april 2021 @ 23:27:
Hallo allemaal, ik wil graag voor mijn opleiding (ict en netwerkbeheer) een proxmox server aanschaffen. Ik heb een klein beetje verstand van hardware, maar ik kan er toch niet helemaal uit komen. Ik zou graag een kleine pc willen, die redelijk energiezuinig is en het liefst 16gb ram of meer. Mijn budget zit rond de 500 euro. Wat raden jullie aan? Graag hoor ik het van jullie. Met vriendelijke groet,
Martijn

Check:
Het grote zuinige server topic - deel 2

Ben zelf voor een Qotom gegaan. Bevalt goed.

[dcm360]

3raser schreef op maandag 19 april 2021 @ 08:54:
Momenteel heb ik een VM (met Windows OS) welke Domoticz draait en gebruik maakt van een USB apparaat (een Zwave stick) die op de host is aangesloten. Dit USB apparaat is via de hardware tab in de web GUI gekoppeld aan de VM (zie screenshot) en bij iedere herstart wordt dit device dan ook automatisch aan de VM gekoppeld. Geen problemen daar.

[Afbeelding]

Nu wil ik dit USB apparaat niet meer op deze VM gebruiken maar koppelen aan een nieuwe LXC met Ubuntu OS. Echter, LXC containers hebben in de web GUI helemaal geen hardware tab. Na de installatie van Ubuntu kan ik het apparaat wel zien via het commando 'lsusb'. Maar in Domoticz zie ik de hardware niet dus ik ga er vanuit dat hij niet werkt of in ieder geval niet beschikbaar is. Mijn vraag is dus, hoe gebruik ik het USB apparaat in deze container?
Ik heb uiteraard al even gegoogled en dan kom ik een heleboel commando's tegen die ik op de host zelf uit zou moeten voeren terwijl ik het idee heb dat dat veel te veel werk is als je het vergelijkt met een VM. Is het gebruik van een USB apparaat in een container echt zo omslachtig? Enige uitleg is zeer welkom.

Even zonder garantie dat het de echte oplossing is:
- Zorg ervoor dat de container niet unprivileged is (of je moet uitvogelen hoe het wel met een unprivileged container kan)
- Kijk op de host wel apparaat je wil doorsturen. Ik denk dat het ttyUSB0 is, mijn voorbeeld gaat daar van uit:

# ls -la /dev/
crw-rw----  1 root dialout 188,   0 Apr 16 15:42 ttyUSB0

- Voeg de volgende 2 regels toe aan /etc/pve/lxc/<id>.conf:

code:

lxc.cgroup.devices.allow: c 188:* rwm
lxc.mount.entry: /dev/ttyUSB0 dev/ttyUSB0 none bind,optional,create=file

Hiermee koppel je dus ttyUSB0, en zorg je er tevens voor dat de container niet geblokkeerd wordt om er wat mee te doen. Ik vermoed dat de 188 hetzelfde is, aangezien zowel op mijn Proxmox-machine als op een Pi die hetzelfde is, maar controleer het vooral voor de zekerheid. Domoticz heb ik zelf op een Raspberry Pi draaien, maar op de Proxmox-machine gebruik ik deze methode om wat hardware door te geven aan een container die Tvheadend draait.

[JayOne]

dcm360 schreef op maandag 19 april 2021 @ 09:49:
[...]

Even zonder garantie dat het de echte oplossing is:
- Zorg ervoor dat de container niet unprivileged is (of je moet uitvogelen hoe het wel met een unprivileged container kan)
- Kijk op de host wel apparaat je wil doorsturen. Ik denk dat het ttyUSB0 is, mijn voorbeeld gaat daar van uit:

# ls -la /dev/
crw-rw----  1 root dialout 188,   0 Apr 16 15:42 ttyUSB0

- Voeg de volgende 2 regels toe aan /etc/pve/lxc/<id>.conf:

code:

lxc.cgroup.devices.allow: c 188:* rwm
lxc.mount.entry: /dev/ttyUSB0 dev/ttyUSB0 none bind,optional,create=file

Hiermee koppel je dus ttyUSB0, en zorg je er tevens voor dat de container niet geblokkeerd wordt om er wat mee te doen. Ik vermoed dat de 188 hetzelfde is, aangezien zowel op mijn Proxmox-machine als op een Pi die hetzelfde is, maar controleer het vooral voor de zekerheid. Domoticz heb ik zelf op een Raspberry Pi draaien, maar op de Proxmox-machine gebruik ik deze methode om wat hardware door te geven aan een container die Tvheadend draait.

@3raser voor een unpriviliged container moest ik ook nog de rechten op de host van dev/ttyUSB0 aanpassen naar user(100000) en group (100020), zodat ie deze in de container als root/dialout weergeeft.

code:

sudo chown 100000:100020 /dev/ttyUSB0

[3raser]

JayOne schreef op maandag 19 april 2021 @ 13:49:
[...]

@3raser voor een unpriviliged container moest ik ook nog de rechten op de host van dev/ttyUSB0 aanpassen naar user(100000) en group (100020), zodat ie deze in de container als root/dialout weergeeft.

code:

sudo chown 100000:100020 /dev/ttyUSB0

Heeft het nog bepaalde nadelen als ik de owner aanpas? Of geef ik met dit commando simpelweg aan dat iedere container gebruik zou mogen maken van het apparaat?

[JayOne]

3raser schreef op maandag 19 april 2021 @ 14:07:
[...]

Heeft het nog bepaalde nadelen als ik de owner aanpas? Of geef ik met dit commando simpelweg aan dat iedere container gebruik zou mogen maken van het apparaat?

In principe geldt deze rechten dan voor alle containers die \dev\ttyUSB0 op de host benaderen. Proxmox zet de user 100000 en 100020 om door van het ID 100000 af te halen, je krijgt dan in de container de userid=0 en groupid=20 die respectievelijk staan voor root en dialout.

Voor elke container die de usb poort benadert moet je wel het stukje configuratie wat @dcm360 aangeeft verwerken.

[dcm360]

De nettere oplossing is echter wel om in de configuratie van de LXC-container een idmap te zetten, en niet door een chown te doen op de host. Wat je echter precies in de configuratie moeten zetten weet ik niet echt, ik heb dit nog nooit geprobeerd.

[3raser]

dcm360 schreef op maandag 19 april 2021 @ 14:26:
De nettere oplossing is echter wel om in de configuratie van de LXC-container een idmap te zetten, en niet door een chown te doen op de host. Wat je echter precies in de configuratie moeten zetten weet ik niet echt, ik heb dit nog nooit geprobeerd.

De mooiste oplossing zou zijn dat Proxmox dit ergens in de GUI opneemt. Het toewijzen van een USB apparaat aan een bepaalde container zou (net als in een VM) toch best mogelijk kunnen zijn lijkt me. Dat is voor minder ervaren gebruikers zoals mij een stuk makkelijker.

[JayOne]

dcm360 schreef op maandag 19 april 2021 @ 14:26:
De nettere oplossing is echter wel om in de configuratie van de LXC-container een idmap te zetten, en niet door een chown te doen op de host. Wat je echter precies in de configuratie moeten zetten weet ik niet echt, ik heb dit nog nooit geprobeerd.

Op mijn to-do lijst staat nog het maken van een udev-rule voor het toekennen van de rechten op de host, omdat met een reboot/upgrade de rechten nog wel weer eens naar de oude status teruggaan. Het probleem met idmapping (zover ik kan afleiden uit de documentatie) is dat dit dan geldt voor de hele container en niet alleen voor de passthrough van de USB.

[dcm360]

Een kleine zoekpoging levert me een tooltje op dat aangeeft wat je moet aanpassen als je een enkel id wil mappen: https://github.com/ddimick/proxmox-lxc-idmapper
Dus dat zou dan het volgende moeten zijn als ik een beetje opgelet heb:

./run.py 0:20

Scheelt weer het moeten maken van een udev-rule, want de chown is inderdaad niet permanent (die raakt waarschijnlijk ook kwijt bij uit- en inpluggen).

Over het opnemen in de gui: ik weet eigenlijk niet of dat wel gaat gebeuren. Het is sowieso iets wat een berg complicaties met zich mee brengt, en vooral voor thuisgebruikers handig is. Voor de zakelijke markt zijn er wel handigere dingen beschikbaar om USB-apparaten te kunnen koppelen aan een VM zonder dat een VM ineens vastzit op een bepaalde server.

[ Voor 30% gewijzigd door dcm360 op 19-04-2021 14:56 ]

[3raser]

dcm360 schreef op maandag 19 april 2021 @ 09:49:
...
- Kijk op de host wel apparaat je wil doorsturen. Ik denk dat het ttyUSB0 is...

Vanavond even gekeken maar op de host zie ik geen enkel ttyUSB vermelding staan in /dev. Kan het zijn dat die niet wordt weergegeven als het USB device in gebruik is op een VM?

[barrymossel]

Ik wil graag een (email) melding krijgen als een VM eruit ligt, of liever zelfs een van de docker containers/services die er draaien. Kan ik dat het beste doen via een ping monitor? Ik vond heartbeat van elastic al. Is dat wat? Of beter op een andere manier?

[powerboat]

barrymossel schreef op donderdag 22 april 2021 @ 17:24:
Ik wil graag een (email) melding krijgen als een VM eruit ligt, of liever zelfs een van de docker containers/services die er draaien. Kan ik dat het beste doen via een ping monitor? Ik vond heartbeat van elastic al. Is dat wat? Of beter op een andere manier?

1001 en 1mogelijkheden, ik gebruik zabbix hiervoor maar genoeg alternatieven.

[haborym]

powerboat schreef op donderdag 22 april 2021 @ 17:49:
[...]


1001 en 1mogelijkheden, ik gebruik zabbix hiervoor maar genoeg alternatieven.

Heb je ergens een tutorial om dat te installeren op proxmox? Wil dat installeren maar geen idee hoe (nog)

[powerboat]

haborym schreef op donderdag 22 april 2021 @ 19:16:
[...]

Heb je ergens een tutorial om dat te installeren op proxmox? Wil dat installeren maar geen idee hoe (nog)

Ik neem aan dat je dat niet rechtstreeks op je hypervisor gaat installeren , maar in een aparte vm.

Effin als je zoek gaat naar zabbix tutorials dan kom je op bijv. onderstaande uit.
https://bestmonitoringtoo...-zabbix-server-on-ubuntu/

Overigens is de handleiding van Zabbix ook nog niet zo slecht.

[JayOne]

barrymossel schreef op donderdag 22 april 2021 @ 17:24:
Ik wil graag een (email) melding krijgen als een VM eruit ligt, of liever zelfs een van de docker containers/services die er draaien. Kan ik dat het beste doen via een ping monitor? Ik vond heartbeat van elastic al. Is dat wat? Of beter op een andere manier?

Pssst...

[dcm360]

Zabbix draait inderdaad prima in een container of VM, en de installatie-instructies zijn best duidelijk. Zelf heb ik er dan nog wat meer tegenaan geprogrammeerd zodat issues in een Slack-kanaal terechtkomen.

[iGadget]

Is het mogelijk om de Proxmox installer in text mode danwel 'safe graphics' mode te draaien? Ik moet hier nu (waarschijnlijk) mijn oude SandyBridge machine opnieuw installeren nadat de CMOS gecleared is geweest (lang, frustrerend verhaal) en de machine niet meer rechtstreeks van de systemd UEFI image wil booten. De UEFI implementatie van het bord is zo brak, dat ik deze image vanuit de UEFI setup niet kan selecteren.
Dus ik vrees dat een her-installatie nodig is.

Maar dan kom ik dus op het punt dat de grafische Proxmox installer crasht door de brakke ondersteuning van de SandyBridge graphics door de Linux kernel (dit issue speelt al meer dan 10 jaar en gaat ook niet meer gefixt worden ben ik bang).
Ubuntu heeft hier een hele mooie 'safe graphics' optie voor, waarmee ik om dit issue heen kan werken, maar bij Proxmox ben ik die nog niet tegengekomen. Heb ik nog opties of moet ik echt achter een losse grafische kaart aan?

[EDIT] Zie op https://pve.proxmox.com/wiki/Debugging_Installation dat er boot options mogelijk zijn, en met de 'e' toets kun je deze opties invoeren. Ik ga hier eerst mee experimenteren.

[EDIT2] Installer proberen te starten met de kernel parameter 'vga=normal' en 'nomodeset', maar dan faalt de GUI met error 'Cannot run in framebuffer mode.'. Dus kennelijk *moet* de installer een framebuffer device hebben om Proxmox te kunnen installeren, ook al is deze daarna *nooit* meer nodig

[ Voor 20% gewijzigd door iGadget op 28-04-2021 16:23 . Reden: helaas, werkt niet ]

[3raser]

Proxmox VE 6.4 is uit. Nu lees ik in de roadmap dat er een opt-in is voor kernel 5.11 terwijl kernel 5.4 de standaard is. Hoe werkt dit precies, een opt-in kernel? En waarom is de nieuwere kernel niet gewoon standaard?

Ik vond ondertussen dit topic. Zo te zien is de kernel toegevoegd aan de officiele repository waardoor het installeren zo simpel wordt als:

apt install pve-kernel-5.11

[ Voor 30% gewijzigd door 3raser op 29-04-2021 14:12 ]

[strandbal]

Kernel 5.11 wordt de default in de komende 7.0 versie, maar ze bieden hem nu alvast opt-in aan zodat je eventueel alvast kan genieten van bijvoorbeeld betere ondersteuning voor nieuwere hardware

[3raser]

strandbal schreef op donderdag 29 april 2021 @ 14:14:
Kernel 5.11 wordt de default in de komende 7.0 versie, maar ze bieden hem nu alvast opt-in aan zodat je eventueel alvast kan genieten van bijvoorbeeld betere ondersteuning voor nieuwere hardware

Ik ga hem wel installeren denk ik. Dan kan ik Wireguard in een container draaien in plaats van een VM. Scheelt weer wat resources. En voor mijn hardware kan het ook geen kwaad. Dat is allemaal behoorlijk nieuw.

[iGadget]

Iemand ooit te maken gehad met 'spontaan' veranderende SSH key fingerprints op nodes?
Na alle voorgaande ellende had ik eindelijk node3 opnieuw geïnstalleerd en toegevoegd aan mijn micro-clustertje. So far so good.

Aan node1 en node2 is niets veranderd. Wat schetst vandaag mijn verbazing - als ik vanaf node1 wil SSH'en naar node2, krijg ik ineens deze melding:

code:

root@node1:~# ssh root@node2
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@    WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!     @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!
Someone could be eavesdropping on you right now (man-in-the-middle attack)!
It is also possible that a host key has just been changed.
The fingerprint for the RSA key sent by the remote host is
SHA256:nvf1DLbt8r0k5qyGYLzf1Nis97apWeuAUcFyiHwrsOs.
Please contact your system administrator.
Add correct host key in /root/.ssh/known_hosts to get rid of this message.
Offending RSA key in /etc/ssh/ssh_known_hosts:3
  remove with:
  ssh-keygen -f "/etc/ssh/ssh_known_hosts" -R "node2"
RSA host key for node2 has changed and you have requested strict checking.
Host key verification failed.

Nou ben ik eens even mijn lame-ass spreadsheet ingedoken waar ik altijd heel paranoia de host key fingerprints in opsla (bij gebrek aan beter systeem) en inderdaad, de key die genoemd wordt komt NIET overeen met wat ik heb staan. Sterker, die hele key komt nergens voor in mijn spreadsheet.

Maar het wordt nog gekker - SSH ik rechtstreeks vanaf mijn werkstation naar node2, dan krijg ik geen melding! Terwijl ik toch altijd dubbel-check in mijn spreadsheet als ik voor het eerst verbinding maak met SSH, dus dan *zou* deze key change me eerder opgevallen moeten zijn.
Ook vanaf mijn laptop - geen melding. En die gebruik ik een stuk minder vaak, dus dat zou inhouden dat *als* de key veranderd is, dit al een tijdje terug is gebeurd EN ik dit tot 2x toe niet geverifiëerd heb in mijn spreadsheet. Niet onmogelijk, maar wel zeer onwaarschijnlijk...
Hetzelfde geldt voor SSH'en van node3 naar node2 - geen melding. Maar dat zou nog te verklaren kunnen zijn doordat node3 er als laatste bijgekomen is.

Ik dacht even slim te zijn en de known_hosts files van de verschillende nodes en andere systemen te vergelijken, maar daar staat alles kennelijk versleuteld in. Ik kan iig nergens leesbare referenties vinden naar de key id's die bij mij bekend zijn.

Hoe debug ik dit?

[EDIT] Zou het niet-klagen van mijn werkstation en laptop erin kunnen zitten dat ze niet de RSA key fingerprint, maar de ECDSA fingerprint pakken? Maar als dat zo is, hoe kan het dan dat die kennelijk *niet* veranderd is en de RSA fingerprint wel?
Als dit zo is, dan zou dit overigens wel verklaren waarom ik de 'nieuwe' RSA fingerprint niet in mijn spreadsheet heb staan, want daarin staan (voor zover ik kan zien) alleen ECDSA key fingerprints. Of ik moet niet goed opgelet hebben op het moment dat ik 'm in de sheet zette

[EDIT2] Heb even de /etc/ssh/ssh_known_hosts files van de verschillende nodes naast elkaar gelegd en op alle 3 nodes zijn de waarden die ik zie staan voor node2 (allen ssh-rsa) *identiek*. Nou breekt mijn klomp... Als ze allemaal gelijk zijn, hoe kan het dan zijn dat node1 loopt te klagen en node3 niet?!

[ Voor 13% gewijzigd door iGadget op 29-04-2021 15:58 . Reden: moah' info's ]

[nero355]

iGadget schreef op woensdag 28 april 2021 @ 15:33:
Maar dan kom ik dus op het punt dat de grafische Proxmox installer crasht door de brakke ondersteuning van de SandyBridge graphics door de Linux kernel (dit issue speelt al meer dan 10 jaar en gaat ook niet meer gefixt worden ben ik bang).

Dat is toch best wel raar, want ik heb een tijdje Kubuntu gedraaid op een i3 2100 geloof ik en dat werkte eigenlijk wel prima

Kreeg wel Intel Driver crashes toen ik iets van een DE wilde installeren onder FreeBSD destijds... dat dan weer wel!

[dcm360]

@iGadget Het issue kan ook nog zijn dat je vanaf node1 niet correct resolved naar node2. In dat geval ben je aan het verbinden met een ander systeem, en is het niet raar dat ssh vindt dat de fingerprint niet overeenkomt.

[iGadget]

nero355 schreef op donderdag 29 april 2021 @ 16:02:
Dat is toch best wel raar, want ik heb een tijdje Kubuntu gedraaid op een i3 2100 geloof ik en dat werkte eigenlijk wel prima

...dan heb ofwel jij heel veel mazzel gehad, of ik heel veel pech. Weet niet of de graphics van een i3 2100 en een i5 2500 gelijk zijn natuurlijk. En wat ook niet meehielp was (weet ik inmiddels) mijn moederbord. De pre-B3 stepping van mijn Asrock bord is kennelijk één bak ellende. Dus het zou me niks verbazen als dit probleem ook gerelateerd is aan het bord. Maar ik was iig niet de enige met dit probleem.

dcm360 schreef op donderdag 29 april 2021 @ 16:06:
@iGadget Het issue kan ook nog zijn dat je vanaf node1 niet correct resolved naar node2. In dat geval ben je aan het verbinden met een ander systeem, en is het niet raar dat ssh vindt dat de fingerprint niet overeenkomt.

Had gekund, maar ik krijg dezelfde waarschuwing als ik rechtstreeks naar het IP van de node verbinding maak.

[iGadget]

Ik begin een beetje te vermoeden dat mijn issues allemaal samenhangen met het niet 'clean' hebben kunnen verwijderen van node2 uit het cluster een aantal weken geleden, door dit issue, waardoor er -naar ik vermoed- allerlei restjes config zijn achtergebleven in verschillende files.

Kijk ik bijvoorbeeld in /etc/ssh/ssh_known_hosts dan zie ik daar node3 dubbel in staan. Nou geeft node3 geen problemen, maar node2. Echter als er bij het verwijderen, opnieuw installeren en opnieuw toevoegen van node3 al dit soort resten zijn blijven 'hangen', dan kan ik me best voorstellen dat er bij node2 destijds ook al e.e.a. niet goed is gegaan.
Maar waarom merk ik dit dan vandaag pas, terwijl node2 al weken geleden is gedaan (en al die tijd probleemloos heeft gedraaid)? Ik kan alleen maar vermoeden dat het verwijderen (en daarbij tegen hetzelfde probleem aangelopen te zijn als bij node2) en opnieuw toevoegen van node3 iets heeft getriggerd.

Overigens lijkt de situatie 'erger' te worden - waar ik vanochtend nog probleemloos kon ssh'en van node3 naar node2, krijg ik daar inmiddels dezelfde melding als bij node1.
In ieder geval is de boel nu wel consequent. Maar daarmee lijkt het er dus wel op alsof er een tijdje meerdere versies van /etc/ssh/ssh_known_hosts op het cluster hebben geleefd, waarbij uiteindelijk de (naar ik mag hopen) foute / outdated /etc/ssh/ssh_known_hosts is gerepliceerd naar alle nodes.

Rest mij alleen nog de vraag hoe ik erachter kom of dit daadwerkelijk een 'onschuldig' bad config dingetje is, of dat er daadwerkelijk iemand op mijn machine(s) rotzooi loopt te trappen....

Thoughts?

[ Voor 2% gewijzigd door iGadget op 29-04-2021 20:47 . Reden: verduidelijking ]

[icecreamfarmer]

Iemand enig idee hoe ik een externe usb3 drive via samba kan sharen.
Ik heb proxmox draaien en in een LCX draait turnkey fileserver.

Heb de usb disk gemount via deze handleiding:
https://medium.com/@konpa...-lxc-proxmox-15482674f11d

En dit staat in de config:
lxc.cgroup.devices.allow: c 189:* rwm
lxc.mount.entry: /dev/bus/usb/003 dev/bus/usb/003 none bind,optional,create=dir

Als ik lsusb doe in de container dan zie ik ook alle usb devices.
Echter in de webmin van de fileserver zie ik de usbstick niet.

Hier heb ik ook al gekeken:
https://www.turnkeylinux....er-appliance#comment-1515

Maar commando fdisk -l doet niets dus ik kan niet mounten.
Waar gaat het hier fout? Bij de proxmox/LXC config of doe ik iets raars in fileserver?

Edit: net in een vm geprobeerd en daar werkt het wel.
Daar werkt fdisk -l ook zodat ik kan mounten. Nadeel is dat het veel meer resources gebruikt dan de container.

De container zorgt voor een extra verbruik van zo'n halve watt en de vm voor 5 watt. Dan kan ik net zo goed OMV draaien met zijn mogelijkheden.

[ Voor 15% gewijzigd door icecreamfarmer op 01-05-2021 20:24 ]

[rachez]

iGadget schreef op donderdag 29 april 2021 @ 20:45:

Rest mij alleen nog de vraag hoe ik erachter kom of dit daadwerkelijk een 'onschuldig' bad config dingetje is, of dat er daadwerkelijk iemand op mijn machine(s) rotzooi loopt te trappen....

Thoughts?

Ik zou mijn known_hosts files op alle nodes ff saven en schonen en daarna opnieuw een ssh connectie opzetten naar je hosts en deze trusten. Ik vermoed dat het dan wegblijft.

[icecreamfarmer]

A1AD schreef op maandag 30 september 2019 @ 16:17:
[...]


Ik volg je even niet hoor. Je spreekt over OMV en ik over puur SAMBA. Je hebt helemaal geen work around nodig als je je ZFS datasets bind mount in je LXC. In je LXC heb je dan SAMBA draaien die de data deelt. SAMBA is zo poepie eenvoudig dat je daar toch geen OMV voor nodig hebt?

Mijn oplossing is toch veel meer KISS?

Zie mijn eerdere comment. Hoe heb je dat werkend gekregen met een usb disk?
Want ik heb bv de turnkey fileserver als lcx gedownload maar kan geen usb3 mounten.

[barrymossel]

Mijn ProxMox web GUI benader ik alleen lokaal op een lokaal IP. Ik krijg als ik de GUI bezoek de melding dat het niet veilig is. Logisch, want er is geen fatsoenlijk SSL certificaat. Hoe los ik dit op, want volgens mij is SSL voor een (lokaal) IP niet mogelijk toch? Kwestie van de Apache rewrite rule aanpassen? Of toch iets met een certificaat?

[Rob]

barrymossel schreef op dinsdag 4 mei 2021 @ 14:34:
Mijn ProxMox web GUI benader ik alleen lokaal op een lokaal IP. Ik krijg als ik de GUI bezoek de melding dat het niet veilig is. Logisch, want er is geen fatsoenlijk SSL certificaat. Hoe los ik dit op, want volgens mij is SSL voor een (lokaal) IP niet mogelijk toch? Kwestie van de Apache rewrite rule aanpassen? Of toch iets met een certificaat?

Misschien heb je hier wat aan: YouTube: Put Wildcard Certificates and SSL on EVERYTHING

[barrymossel]

Rob schreef op dinsdag 4 mei 2021 @ 20:07:
[...]


Misschien heb je hier wat aan: YouTube: Put Wildcard Certificates and SSL on EVERYTHING

Dan zet ik Proxmox toch open naar buiten volgens mij. En dat wil ik liever niet. Enige dat ik via NGINX nu open zet naar buiten is Home Assistant en een webserver.

[Zenix]

barrymossel schreef op dinsdag 4 mei 2021 @ 14:34:
Mijn ProxMox web GUI benader ik alleen lokaal op een lokaal IP. Ik krijg als ik de GUI bezoek de melding dat het niet veilig is. Logisch, want er is geen fatsoenlijk SSL certificaat. Hoe los ik dit op, want volgens mij is SSL voor een (lokaal) IP niet mogelijk toch? Kwestie van de Apache rewrite rule aanpassen? Of toch iets met een certificaat?

Dat is wel mogelijk, je kan bijvoorbeeld een wildcard aanvragen voor *.barrymossel.nl (moet je wel eigenaar zijn van dat domein natuurlijk) en die gebruiken bij al je interne IP's. Maakt niet uit dat het IP niet extern is, zolang je PC maar de chain of trust kan checken en het certificaat kan valideren is het prima.

Maar je kan ook je eigen CA gaan draaien en daarvan het cert importeren in je trust stores van je browser, en vervolgens certificaten uitdelen, dan krijg je ook geen meldingen meer.

[ Voor 4% gewijzigd door Zenix op 04-05-2021 21:16 ]

[icecreamfarmer]

Heeft iemand hier Tailscale draaien op proxmox?
Ik heb het zowel direct op Proxmox als op een LXC geinstalleerd maar krijg ze niet werkend als exitnode.
Port forwarding heb ik aangezet.

[Goof2000]

icecreamfarmer schreef op vrijdag 7 mei 2021 @ 13:12:
Heeft iemand hier Tailscale draaien op proxmox?
Ik heb het zowel direct op Proxmox als op een LXC geinstalleerd maar krijg ze niet werkend als exitnode.
Port forwarding heb ik aangezet.

Heb je gecontroleerd of je firewall de communicatie niet blokkeert? Dat is het probleem wat ik het meeste tegenkom als VPN software niet werkt.

[icecreamfarmer]

Goof2000 schreef op vrijdag 7 mei 2021 @ 13:35:
[...]

Heb je gecontroleerd of je firewall de communicatie niet blokkeert? Dat is het probleem wat ik het meeste tegenkom als VPN software niet werkt.

In principe is dat bij tailscale niet nodig.
Voor wireguard moest ik dat idd wel doen.

[iGadget]

Wat ik nou toch weer voor iets raars heb - gister heb ik aan mijn micro-clustertje en 4e node toegevoegd. Deze zal uiteindelijk node3 gaan vervangen, maar tot node4 helemaal klaar is had ik bedacht dat node3 nog niet uit het cluster gehaald moest worden. En een extra 'spare' member die in kan springen als het nodig is leek me ook best een fijn idee.
Node3 staat echter niet standaard aan, maar alleen als ik node1 of node2 moet herstarten of als er backups gedraaid worden.
Tijdens het toevoegen van node4 stond node3 ook uit.

Alles leek goed te gaan, node4 kwam er keurig bij in het lijstje. Om de laatste puntjes op de 'i' te zetten moest node4 ook nog even uit. Maarrrrr domdomdom - in een cluster met 4 nodes, waarbij er 2 uit gaan / staan, verlies je je quorum en gaat de boel plat. Daar had ik even geen rekening mee gehouden.
Node4 kon echter nog even niet aan, dus snel node3 opgestart.

Maar nou komt het - het lukt node3 niet meer om deel te nemen aan het cluster, ook niet nadat ik node4 alsnog weer opgestart heb om het quorum te herstellen. Heel syslog stroomt vol met deze meldingen:

code:

May 09 15:25:29 node3 corosync[1782]:   [QUORUM] Sync members[1]: 3
May 09 15:25:29 node3 corosync[1782]:   [TOTEM ] A new membership (3.3cf) was formed. Members
May 09 15:25:29 node3 corosync[1782]:   [QUORUM] Members[1]: 3
May 09 15:25:29 node3 corosync[1782]:   [MAIN  ] Completed service synchronization, ready to provide service.
May 09 15:25:29 node3 pmxcfs[1661]: [dcdb] notice: members: 3/1661
May 09 15:25:29 node3 pmxcfs[1661]: [dcdb] notice: all data is up to date
May 09 15:25:29 node3 pmxcfs[1661]: [status] notice: members: 3/1661
May 09 15:25:29 node3 pmxcfs[1661]: [status] notice: all data is up to date
May 09 15:25:32 node3 corosync[1782]:   [TOTEM ] Token has not been received in 2738 ms
May 09 15:25:34 node3 pveproxy[1925]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:34 node3 corosync[1782]:   [KNET  ] pmtud: PMTUD link change for host: 1 link: 0 from 469 to 1397
May 09 15:25:34 node3 corosync[1782]:   [KNET  ] pmtud: PMTUD link change for host: 2 link: 0 from 469 to 1397
May 09 15:25:34 node3 corosync[1782]:   [KNET  ] pmtud: Global data MTU changed to: 1397
May 09 15:25:35 node3 pveproxy[1925]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:35 node3 pveproxy[1925]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:35 node3 pvedaemon[1895]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:35 node3 pvedaemon[1895]: <root@pam> successful auth for user 'root@pam'
May 09 15:25:35 node3 pveproxy[1925]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:35 node3 pveproxy[1924]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:35 node3 pveproxy[1925]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:35 node3 pveproxy[1924]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:35 node3 pvedaemon[1898]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:36 node3 pveproxy[1925]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:36 node3 corosync[1782]:   [TOTEM ] Token has not been received in 6438 ms
May 09 15:25:37 node3 pveproxy[1925]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:39 node3 pveproxy[1925]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:39 node3 pveproxy[1925]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:39 node3 pveproxy[1925]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:40 node3 pveproxy[1925]: Cluster not quorate - extending auth key lifetime!
May 09 15:25:41 node3 corosync[1782]:   [QUORUM] Sync members[1]: 3
May 09 15:25:41 node3 corosync[1782]:   [TOTEM ] A new membership (3.3e3) was formed. Members
May 09 15:25:41 node3 corosync[1782]:   [QUORUM] Members[1]: 3
May 09 15:25:41 node3 corosync[1782]:   [MAIN  ] Completed service synchronization, ready to provide service.

Waarschijnlijk had ik nooit node4 moeten toevoegen terwijl node3 uit stond, maar ja... wist ik veel.
Klopt mijn vermoeden en zo ja, is dit nog te fiksen? Of moet ik node3 uit het cluster gooien?
Dat laatste vermijd ik liever want dan krijg ik weer allemaal gedoe met replication jobs die niet meer (makkelijk) verwijderd kunnen worden en moet ik Proxmox *weer* opnieuw installeren. En dat heeft nogal wat voeten in de aarde, gezien alle hardware issues die deze node heeft.
Maar goed, als het moet, dan is het niet anders.

Dus - waarschuwing voor alle beginnende Proxmox-clusteraars: PAS OP MET EEN EVEN AANTAL NODES, zelfs als (of misschien wel juist als) er nodes niet standaard aan staan! Voor je het weet ligt de boel plat

[EDIT] - Ik heb uiteindelijk toch maar node3 uit het cluster gegooid. Alles draait nu weer goed, nu alleen nog kijken hoe ik de replication jobs naar node3 eruit krijg

[ Voor 1% gewijzigd door iGadget op 10-05-2021 15:00 . Reden: node3 = exit ]

[cville]

Voordat ik mijn nieuwe server in productie neem, ben ik aan het kijken of ik de wear op mijn SSDs (een Samsung 970 EVO Plus 1TB mirror) kan minimaliseren. Ik heb /var/log verplaatst naar een aparte HDD (ter evaluatie; wordt later de HDD pool) en de HA daemons uitgezet (pve-ha-lrm, pve-ha-crm).

Door deze maatregelen is mijn GB written/day waarde van 25.2 naar 16.7 gegaan - ongeveer een derde verbetering). Er draaien geen VMs en containers; dit is dus uitsluitend PVE. De genoemde waardes haal ik uit de SMART data.

Vragen:

1. waar gaat de overgebleven 16.7GB/dag naar toe en hoe kan ik hier achter komen? Ik vind 16.7GB/dag nogal veel voor een systeem dat in feite alleen maar aan het navelstaren is.
2. wat kan ik nog meer doen om de SSDs te ontlasten zonder de performance belangrijk te verlagen?

[Woodski]

Wie kan mij helpen met het verbinden naar SMB shares op een LXC container ?

Op een normale Ubuntu VM pas ik de fstab aan en werkt het meteen
b.v. //192.168.1.x/d/ /mnt/server/ cifs noauto,x-systemd.automount,username=secret,password=topgeheim,uid=1000,gid=1000,iocharset=utf8 0 0

Maar hoe doe ik dit uit een LXC container ?
Ik wil dus dat de LXC container praat met een smb share op een Windows server

Moet ik het dan eerst op pve mounten en dan doorlussen of zo
En maakt privileged of unprivileged nog uit

[Yucko]

@Woodski:

Je mount dan idd de share op je PVE en lust deze dan door naar LXC door de .conf file van je LXC container aan te passen.

linkje naar handleiding die ik destijds gebruikte

het enige waar ik tegenaan liep was dat Proxmox bij een reboot de samba share niet automatisch deed mounten ondanks dat hij in fstab stond. Ik moest dan altijd nog even een handmatige 'mount -a' doen na een reboot.

Omdat ik eigenlijk toch alleen maar docker draaide in een LXC en voor de rest niets heb ik Proxmox weer verwijderd en een baremetal debian + docker installatie gedaan en daar had ik eigenlijk hetzelfde probleem met het niet automatisch mounten via fstab.
Uiteindelijk opgelost met:

code:

systemctl enable systemd-networkd-wait-online.service

Volgens mij is het zo dat je vanuit een Unprivileged LXC eigenlijk alleen maar zou kunnen lezen op een samba share, maar in mijn geval kon ik zowel lezen als schrijven vanuit een Unprivileged LXC

[ Voor 107% gewijzigd door Yucko op 11-05-2021 17:03 ]

[Woodski]

Ok dat helpt, dus eerst mounten in PVE en dan in de container
Raar dat dit niet direct kan maar het werkt wel

Na een reboot van proxmox is hier ook mount -a nodig
Met dit in crontab werkt het probleemloos
@reboot /bin/mount -a

[iGadget]

cville schreef op dinsdag 11 mei 2021 @ 15:16:
Ik heb /var/log verplaatst naar een aparte HDD (ter evaluatie; wordt later de HDD pool) en de HA daemons uitgezet (pve-ha-lrm, pve-ha-crm).
Door deze maatregelen is mijn GB written/day waarde van 25.2 naar 16.7 gegaan - ongeveer een derde verbetering). Er draaien geen VMs en containers; dit is dus uitsluitend PVE.

Dat is al een flinke verbetering IMHO. Ongelooflijk dat dit zoveel uitmaakt en bizar dat er zo enorm veel geschreven wordt zonder dat er (vanuit het perspectief van de gebruiker) ook maar iets significants plaatsvindt. Ik ben er zelf niet zo diep ingedoken nog maar merkte wel al vrij snel dat mijn 840 EVO's heeeel snel door hun wearout heen gingen. Vandaar dat ik ze heb vervangen door SM863a's. Hiermee lijkt het een stuk minder hard te gaan, al zitten de schijven van mijn primaire 2 nodes alweer op 1%.

De genoemde waardes haal ik uit de SMART data.

Welke data is dit precies? Ik heb hier:

code:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0032   099   099   000    Old_age   Always       -       961
 12 Power_Cycle_Count       0x0032   099   099   000    Old_age   Always       -       41
177 Wear_Leveling_Count     0x0013   099   099   005    Pre-fail  Always       -       4
179 Used_Rsvd_Blk_Cnt_Tot   0x0013   100   100   010    Pre-fail  Always       -       0
180 Unused_Rsvd_Blk_Cnt_Tot 0x0013   100   100   010    Pre-fail  Always       -       2761
181 Program_Fail_Cnt_Total  0x0032   100   100   010    Old_age   Always       -       0
182 Erase_Fail_Count_Total  0x0032   100   100   010    Old_age   Always       -       0
183 Runtime_Bad_Block       0x0013   100   100   010    Pre-fail  Always       -       0
184 End-to-End_Error        0x0033   100   100   097    Pre-fail  Always       -       0
187 Uncorrectable_Error_Cnt 0x0032   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0032   063   046   000    Old_age   Always       -       37
194 Temperature_Celsius     0x0022   063   046   000    Old_age   Always       -       37 (Min/Max 20/59)
195 ECC_Error_Rate          0x001a   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   100   100   000    Old_age   Always       -       0
199 CRC_Error_Count         0x003e   100   100   000    Old_age   Always       -       0
202 Exception_Mode_Status   0x0033   100   100   010    Pre-fail  Always       -       0
235 POR_Recovery_Count      0x0012   099   099   000    Old_age   Always       -       25
241 Total_LBAs_Written      0x0032   099   099   000    Old_age   Always       -       3170877077
242 Total_LBAs_Read         0x0032   099   099   000    Old_age   Always       -       2591583182
243 SATA_Downshift_Ct       0x0032   100   100   000    Old_age   Always       -       0
244 Thermal_Throttle_St     0x0032   100   100   000    Old_age   Always       -       0
245 Timed_Workld_Media_Wear 0x0032   100   100   000    Old_age   Always       -       65535
246 Timed_Workld_RdWr_Ratio 0x0032   100   100   000    Old_age   Always       -       65535
247 Timed_Workld_Timer      0x0032   100   100   000    Old_age   Always       -       65535
251 NAND_Writes             0x0032   100   100   000    Old_age   Always       -       4834755072

Gaat het dan om ID 241, 242 of 251? En hoe interpreteer ik die?

Wat betreft je vragen, die heb ik zelf ook. Dus ben heel benieuwd of iemand hier iets zinnigs over kan zeggen.
In hoeverre zou 'write amplification' hier een rol kunnen spelen? Of staat dit helemaal los van het aantal geschreven GB's/dag?

[cville]

iGadget schreef op woensdag 12 mei 2021 @ 10:53:
[...]

Dat is al een flinke verbetering IMHO. Ongelooflijk dat dit zoveel uitmaakt en bizar dat er zo enorm veel geschreven wordt zonder dat er (vanuit het perspectief van de gebruiker) ook maar iets significants plaatsvindt. Ik ben er zelf niet zo diep ingedoken nog maar merkte wel al vrij snel dat mijn 840 EVO's heeeel snel door hun wearout heen gingen. Vandaar dat ik ze heb vervangen door SM863a's. Hiermee lijkt het een stuk minder hard te gaan, al zitten de schijven van mijn primaire 2 nodes alweer op 1%.

[...]

Welke data is dit precies? Ik heb hier:

code:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0032   099   099   000    Old_age   Always       -       961
 12 Power_Cycle_Count       0x0032   099   099   000    Old_age   Always       -       41
177 Wear_Leveling_Count     0x0013   099   099   005    Pre-fail  Always       -       4
179 Used_Rsvd_Blk_Cnt_Tot   0x0013   100   100   010    Pre-fail  Always       -       0
180 Unused_Rsvd_Blk_Cnt_Tot 0x0013   100   100   010    Pre-fail  Always       -       2761
181 Program_Fail_Cnt_Total  0x0032   100   100   010    Old_age   Always       -       0
182 Erase_Fail_Count_Total  0x0032   100   100   010    Old_age   Always       -       0
183 Runtime_Bad_Block       0x0013   100   100   010    Pre-fail  Always       -       0
184 End-to-End_Error        0x0033   100   100   097    Pre-fail  Always       -       0
187 Uncorrectable_Error_Cnt 0x0032   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0032   063   046   000    Old_age   Always       -       37
194 Temperature_Celsius     0x0022   063   046   000    Old_age   Always       -       37 (Min/Max 20/59)
195 ECC_Error_Rate          0x001a   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   100   100   000    Old_age   Always       -       0
199 CRC_Error_Count         0x003e   100   100   000    Old_age   Always       -       0
202 Exception_Mode_Status   0x0033   100   100   010    Pre-fail  Always       -       0
235 POR_Recovery_Count      0x0012   099   099   000    Old_age   Always       -       25
241 Total_LBAs_Written      0x0032   099   099   000    Old_age   Always       -       3170877077
242 Total_LBAs_Read         0x0032   099   099   000    Old_age   Always       -       2591583182
243 SATA_Downshift_Ct       0x0032   100   100   000    Old_age   Always       -       0
244 Thermal_Throttle_St     0x0032   100   100   000    Old_age   Always       -       0
245 Timed_Workld_Media_Wear 0x0032   100   100   000    Old_age   Always       -       65535
246 Timed_Workld_RdWr_Ratio 0x0032   100   100   000    Old_age   Always       -       65535
247 Timed_Workld_Timer      0x0032   100   100   000    Old_age   Always       -       65535
251 NAND_Writes             0x0032   100   100   000    Old_age   Always       -       4834755072

Gaat het dan om ID 241, 242 of 251? En hoe interpreteer ik die?

Wat betreft je vragen, die heb ik zelf ook. Dus ben heel benieuwd of iemand hier iets zinnigs over kan zeggen.
In hoeverre zou 'write amplification' hier een rol kunnen spelen? Of staat dit helemaal los van het aantal geschreven GB's/dag?

Bedankt voor je reactie. Ik zal op je opmerkingen/vragen ingaan maar moet eerst wat meer achtergrond geven.

Mijn server is nog in een tijdelijke configuratie waarin mijn SSDs wel in het systeem zitten maar nog niet actief zijn (0 bytes written). Ik doe dit omdat ik eerst wil experimenteren zonder de SSDs daarmee te belasten. Om dat mogelijk te maken staat PVE op de rpool (mirror van 2 14TB HDDs) en heb ik een aparte HDD waar ik nu de logfiles naartoe schrijf. Vanwege deze configuratie (root op HDD) is er (nog) geen sprake van SSD write amplification.

Zodra ik voldoende weet configureer ik het systeem helemaal opnieuw, deze keer met SSDs.

Nu naar het meten. Ik gebruik het volgende script dat 1 x per minuut draait:

code:

BW0=$(/usr/sbin/smartctl -l devstat /dev/disk/by-id/ata-WDC_WD140EDFZ-11A0VA0_XXX |grep "Logical Sectors Written" | tr -s ' ' | cut -d' ' -f4)
BW0=$(($BW0 * 512))
INFLUX_CMD="INSERT drive_stats,id=ata-WDC_WD140EDFZ-11A0VA0_XXX bytes_written=$BW0"
ssh pi@eon "influx -database sys_stats -execute '$INFLUX_CMD'"

Ik vermenigvuldig de "Logical Sectors Written" met 512 om tot het aantal bytes written te komen.

Ik voer dan via Grafana de volgende InfluxDB query uit:

code:

SELECT spread("bytes_written") / 1000000000 FROM "drive_stats" WHERE ("id" = 'ata-WDC_WD140EDFZ-11A0VA0_XXX') AND time >= now() - 24h

Dit levert het aantal GB written/day op. Ik gebruik dus het HDD equivalent van ID 241. Ik denk dat in jouw geval dat inclusief write amplification is. Als je een fout in mijn redenering vindt, dan hoor ik dat uiteraard graag.

Ik hoop dat er alsnog iemand een antwoord op mijn oorspronkelijke vraag kan geven.

[cville]

iGadget schreef op woensdag 12 mei 2021 @ 10:53:
[...]

Dat is al een flinke verbetering IMHO. Ongelooflijk dat dit zoveel uitmaakt en bizar dat er zo enorm veel geschreven wordt zonder dat er (vanuit het perspectief van de gebruiker) ook maar iets significants plaatsvindt. Ik ben er zelf niet zo diep ingedoken nog maar merkte wel al vrij snel dat mijn 840 EVO's heeeel snel door hun wearout heen gingen. Vandaar dat ik ze heb vervangen door SM863a's. Hiermee lijkt het een stuk minder hard te gaan, al zitten de schijven van mijn primaire 2 nodes alweer op 1%.

[...]

Ik wil nog even apart op bovenstaande opmerkingen ingaan. Ik zou het interessant vinden om absolute waarden te vergelijken. Is het mogelijk om wat harde getallen te leveren zodat de bytes written/day vergeleken kunnen worden?

[iGadget]

cville schreef op woensdag 12 mei 2021 @ 12:35:
[...]
Ik wil nog even apart op bovenstaande opmerkingen ingaan. Ik zou het interessant vinden om absolute waarden te vergelijken. Is het mogelijk om wat harde getallen te leveren zodat de bytes written/day vergeleken kunnen worden?

Sure, ik help graag. Maar ik ben nog lang niet zover als jij met Grafana etc. Staat wel op mijn (flinke) wishlist. Wellicht even overleggen via DM of wou je alles 'publiek' houden?

[EDIT] Onderzoek is gestart, watch this space voor onze bevindingen

[ Voor 6% gewijzigd door iGadget op 12-05-2021 19:20 ]