Het grote Proxmox VE topic

[ComTech]

ComTech schreef op donderdag 20 januari 2022 @ 15:45:

Vanwege het gigantisch hoge RAM gebruik van deze configuratie heb ik een andere oplossing bedacht.

Even terugkomen op het geheugengebruik, het is na een aantal dagen weer gestegen, 90.86% 28.38 GiB of 31.24 GiB.
Ik heb nu alleen een 1TB NvMe disk als ZFS voor de VM's
4 Vm's met 4 GiB geheugen 1 met 512MB geheugen en 1 container met 256MB geheugen.
Wordt de rest dan gewoon gebruikt door ZFS?
Als ik nu nog een VM erbij maak met bijvoorbeeld 4 of 8 GiB geheugen maakt hij dat dan vrij door minder te gebruiken voor ZFS ?

[RobertMe]

ComTech schreef op maandag 24 januari 2022 @ 11:22:
Wordt de rest dan gewoon gebruikt door ZFS?

Meten is weten, ooit deze oneliner van internet geplukt die de ARC grote in MB laat zien:

awk '/^size/ { print $1 " " $3 / 1048576 }' < /proc/spl/kstat/zfs/arcstats

[Feni]

ComTech schreef op maandag 24 januari 2022 @ 11:22:
[...]
Als ik nu nog een VM erbij maak met bijvoorbeeld 4 of 8 GiB geheugen maakt hij dat dan vrij door minder te gebruiken voor ZFS ?

Ja, het ARC (ZFS cache) is dynamisch toegekend en krimpt als het systeem meer geheugen nodig heeft.

[htca]

Ik ben van mail provider gewisseld en moet de gegevens voor de uitgaande mail aanpassen (username en password). Maar ik zoek waarschijnlijk op de verkeerde plek, waar moet je dat in de PVE-manager aanpassen?

[orvintax]

htca schreef op maandag 24 januari 2022 @ 15:35:
Ik ben van mail provider gewisseld en moet de gegevens voor de uitgaande mail aanpassen (username en password). Maar ik zoek waarschijnlijk op de verkeerde plek, waar moet je dat in de PVE-manager aanpassen?

Dat gaat niet in de PVE-manager zelf. Daarvoor moet je in de config van postfix (of eventueel een andere MTA mocht je die hebben gebruikt) zijn. Hier is een volledige guide link

[zx9r_mario]

Ik ben aan het kijken voor een script om een overzicht te krijgen van LXC containers binnen een (user)pool met CT naam, IP & mac-adres. Iemand ideeën of voorbeelden?

[Ankh]

Ik ben aan het kijken hoe ik mijn bestaande Samba/NFS share (op een bestaande Synology NAS) met bestanden kan presenteren aan een LXC Container. Wanneer ik hier op zoek dan blijf ik terug komen op een algemene NFS of CIFS share en als ik die koppel dan wordt er een "image" op de share aangemaakt.. Of ik moet NFS share handmatig mounten in de container, maar dat kan alleen in een priviliged container: https://theorangeone.net/posts/mount-nfs-inside-lxc/
Of zijn er nog andere methodes om dit toe te passen?

[orvintax]

Ankh schreef op dinsdag 25 januari 2022 @ 09:36:
Ik ben aan het kijken hoe ik mijn bestaande Samba/NFS share (op een bestaande Synology NAS) met bestanden kan presenteren aan een LXC Container. Wanneer ik hier op zoek dan blijf ik terug komen op een algemene NFS of CIFS share en als ik die koppel dan wordt er een "image" op de share aangemaakt.. Of ik moet NFS share handmatig mounten in de container, maar dat kan alleen in een priviliged container: https://theorangeone.net/posts/mount-nfs-inside-lxc/
Of zijn er nog andere methodes om dit toe te passen?

Er zijn grofweg twee manieren en je noemt ze beide.
- Mount de NFS share in Proxmox en maak een mount point aan voor je (unprivileged) LXC container.
- Mount de NFS share direct in je privileged LXC container.

Ik raad altijd optie 1 aan. Unprivileged containers runnen als root. Dus mocht het iemand lukken om uit je container te ontstnappen (wat erg lastig is maar niet onmogelijk) dan zijn ze root op je node. Gebeurt dat in een unprivileged container dan zijn ze gewoon een "normale" user. Daarnaast zegt het LXC team dit over privileged containers:

As privileged containers are considered unsafe, we typically will not consider new container escape exploits to be security issues worthy of a CVE and quick fix. We will however try to mitigate those issues so that accidental damage to the host is prevented.

Ik raad het dus af waar mogelijk

Wanneer ik hier op zoek dan blijf ik terug komen op een algemene NFS of CIFS share en als ik die koppel dan wordt er een "image" op de share aangemaakt.

Dit ligt aan welke "doeleinde" je een storage configuratie geeft binnenin Proxmox. Met een andere keuze maakt ie een andere folder aan. Dit maakt eigenlijk niet uit en kun je negeren. Als je dit hebt gedaan kun je een mountpoint aanmaken tussen je NFS share en je container en dan kun je aan de bestanden in die share (mits je de juiste rechten hebt).

[remcoXP]

Op mijn unify systeem zie ik dat proxmox vaak disconnect. op mijn proxmox draai ik een vm die de unifi software host. dit is dus dikke shit.

Nu is de de NUC waar proxmox op draait nieuw maargoed dit hoeft niets te betekenen. De vraag is hoe ik het best netwerk of uberhaubt fouten in proxmox logs kan zien (anders dan vanuit de gui).

wellicht zou ik cv4pve-tools kunnen gebruiken, hebben jullie hier (fijne) ervaringen mee?

[Ankh]

orvintax schreef op dinsdag 25 januari 2022 @ 09:56:
[...]

Er zijn grofweg twee manieren en je noemt ze beide.
- Mount de NFS share in Proxmox en maak een mount point aan voor je (unprivileged) LXC container.
- Mount de NFS share direct in je privileged LXC container.

Ik raad altijd optie 1 aan. Unprivileged containers runnen als root. Dus mocht het iemand lukken om uit je container te ontstnappen (wat erg lastig is maar niet onmogelijk) dan zijn ze root op je node. Gebeurt dat in een unprivileged container dan zijn ze gewoon een "normale" user. Daarnaast zegt het LXC team dit over privileged containers:

[...]

Ik raad het dus af waar mogelijk

[...]

Dit ligt aan welke "doeleinde" je een storage configuratie geeft binnenin Proxmox. Met een andere keuze maakt ie een andere folder aan. Dit maakt eigenlijk niet uit en kun je negeren. Als je dit hebt gedaan kun je een mountpoint aanmaken tussen je NFS share en je container en dan kun je aan de bestanden in die share (mits je de juiste rechten hebt).

Even als voorbeeld, ik heb een share waar ik een NZB neerzet. Deze wordt dan via de docker opgepakt en download alle bestanden, pakt ze uit en verplaatst dit weer naar de correcte directory (of share). Dit wordt dus nu zo toegepast op mijn NAS, nu ben ik dit nabootsen op m'n proxmox host met wat LXC containers. Uit eindelijk zal deze methode verdwijnen, maar wil eerst even alles overzetten. Nu heb ik gekeken naar (je) optie 1, maar mijn gedachte gang zal denk ik net verkeerd zijn:

[orvintax]

Ankh schreef op dinsdag 25 januari 2022 @ 19:49:
[...]

Even als voorbeeld, ik heb een share waar ik een NZB neerzet. Deze wordt dan via de docker opgepakt en download alle bestanden, pakt ze uit en verplaatst dit weer naar de correcte directory (of share). Dit wordt dus nu zo toegepast op mijn NAS, nu ben ik dit nabootsen op m'n proxmox host met wat LXC containers. Uit eindelijk zal deze methode verdwijnen, maar wil eerst even alles overzetten. Nu heb ik gekeken naar (je) optie 1, maar mijn gedachte gang zal denk ik net verkeerd zijn: [Afbeelding]
[Afbeelding]

Je gedachtengang is zeker niet verkeerd. Maar het is meer een tekortkoming van de proxmox web interface. Waar je naar op zoek bent is een bind mount point. Deze kun je niet (althans zover ik bekend ben) aanmaken via de web interface. Hoe je een bind mount aanmaakt kun je hier of hier vinden.

[orvintax]

remcoXP schreef op dinsdag 25 januari 2022 @ 19:35:
Op mijn unify systeem zie ik dat proxmox vaak disconnect. op mijn proxmox draai ik een vm die de unifi software host. dit is dus dikke shit.

Vanuit nieuwsgierigheid maar waaruit concludeer je dit? Ik draai zelf de Unifi software in een LXC container en dit werkt al anderhalf jaar perfect.

[remcoXP]

orvintax. mijn internet valt telkens uit, het heeft anderhalve jaar goed gewerkt, maar na een stroomstoring (denk ik) is het bal. en ik kan het niet pinpointen. en in mijn unifi webgui logs zie ik dat proxmox connectie is weggevallen. vandaar.

[orvintax]

remcoXP schreef op dinsdag 25 januari 2022 @ 20:14:
orvintax. mijn internet valt telkens uit, het heeft anderhalve jaar goed gewerkt, maar na een stroomstoring (denk ik) is het bal. en ik kan het niet pinpointen. en in mijn unifi webgui logs zie ik dat proxmox connectie is weggevallen. vandaar.

Ik weet niet wat voor unifi apparaten je precies hebt en wat je configuratie is. Maar zover ik weet hoef je enkel een controller online te houden voor de managed hotspot. Maw mocht je dat niet hebben is het niet nodig om die controller altijd online te hebben en kan het dan ook niet de oorzaak zijn van het wegvallende internet.

[remcoXP]

thanks, dat is een goeie, dus software is het niet blijkbaar.

orvintax schreef op dinsdag 25 januari 2022 @ 20:16:
[...]

Ik weet niet wat voor unifi apparaten je precies hebt en wat je configuratie is. Maar zover ik weet hoef je enkel een controller online te houden voor de managed hotspot. Maw mocht je dat niet hebben is het niet nodig om die controller altijd online te hebben en kan het dan ook niet de oorzaak zijn van het wegvallende internet.

[orvintax]

remcoXP schreef op dinsdag 25 januari 2022 @ 20:17:
thanks, dat is een goeie, dus software is het niet blijkbaar.

[...]

Nouja dat kan ik moeilijk helemaal uitsluiten. Het komt er op neer dat die controller in 9/10 configuraties niet altijd online hoeft te zijn.

[RobertMe]

orvintax schreef op dinsdag 25 januari 2022 @ 20:28:
[...]

Nouja dat kan ik moeilijk helemaal uitsluiten. Het komt er op neer dat die controller in 9/10 configuraties niet altijd online hoeft te zijn.

Maak dat maar 10/10. Echt de enige uitzondering is een gastnetwerk met een captive portal. En ik ga er vanuit dat die paar die dat thuis zouden draaien dat ook niet gebruiken met hun eigen apparaten maar alleen met een daadwerkelijk gast netwerk. Dus de kans dat iemand zelf in zijn eigen huis last heeft van een klapperende internet verbinding omdat de UniFi Controller niet bereikbaar is schat ik in op 0.

In any case, ik zou beginnen met wat basic troubleshooting. Is de gateway (lees: router) nog te pingen op zijn IP adres? Is een extern IP adres te pingen, zoals 8.8.8.8 (yeah, I know Google, booo. Maar die zit er bij mij intussen in geslepen. 1.1.1.1 werkt vast ook). Zoek het IP adres van de DNS server op en controleer of die te pingen is. Kijk of je bv tweakers.net kunt pingen. Faalt die op resolven IP ligt het aan DNS, faalt die op daadwerkelijk pingen, dan is het gek dat 8.8.8.8 wel werkte . Werkt DNS niet, controleer dan of een andere DNS server wel werkt (bv met nslookup, waarvan ik niet weet hoe die met een andere DNS server te laten babbelen, bij dig is is in ieder geval dig tweakers.net @8.8.8.8 of whatever)

[RudolfR]

@remcoXP

Ik heb ook gehad dat er devices verdwenen uit het overzicht van de controller, maar die apparaten waren gewoon volledige idle, geen netwerkverkeer.
Verwacht je dat er altijd wel netwerkactiviteit is richting proxmox?
Anders proxmox host even laten pingen (als doel of bron, maakt vast niet uit) om te kijken of het dan verdwijnt.

[Theone098]

Ik heb 2 nodes en wil er 1 uitschakelen. Echter, ik kan alleen inloggen op webGUI van de node die ik wil uitzetten. Bij de andere krijg ik "login failed, please try again". In syslog staat "authentication failure: no such user". Maar deze bestaat in het cluster en staat ook in /etc/pve/users.cfg (op beide nodes).

Ik gebruik Linux PAM Standard Authentication met TFA.

Weet iemand hoe dit op te lossen?

[ Voor 0% gewijzigd door Theone098 op 26-01-2022 09:18 . Reden: typo ]

[remcoXP]

dank voor de tips ik ga het onderzoeken en hopelijk kom ik terug met het verlossende woord

[_Eend_]

Theone098 schreef op woensdag 26 januari 2022 @ 09:17:
Ik heb 2 nodes en wil er 1 uitschakelen. Echter, ik kan alleen inloggen op webGUI van de node die ik wil uitzetten. Bij de andere krijg ik "login failed, please try again". In syslog staat "authentication failure: no such user". Maar deze bestaat in het cluster en staat ook in /etc/pve/users.cfg (op beide nodes).

Ik gebruik Linux PAM Standard Authentication met TFA.

Weet iemand hoe dit op te lossen?

Heb je wel een lokaal(!) account op die tweede node?

[Theone098]

En hoe zou ik dat moeten doen (search levert niets op)?
Ik zie alleen verwijzingen zoals ik het nu gebruik: https://ip.adres:8006. User is aangemaakt op het hoofdniveau (datacenter). Op de individuele nodes zie ik die mogelijkheid niet.

[_Eend_]

Theone098 schreef op woensdag 26 januari 2022 @ 11:11:
En hoe zou ik dat moeten doen (search levert niets op)?
Ik zie alleen verwijzingen zoals ik het nu gebruik: https://ip.adres:8006. User is aangemaakt op het hoofdniveau (datacenter). Op de individuele nodes zie ik die mogelijkheid niet.

Voor zover ik weet moet je als je PAM gebruikt altijd een account hebben op elke node waarop je inlogt. Die moet je dus op de node zelf aanmaken, dus niet in de PVE webgui.

Maw.: Met SSH/monitor en toetsenbord inloggen op de node,

adduser Theone98

doen, hetzelfde wachtwoord als op de andere node invoeren, de rest van de vragen naar wens invullen en weer uitloggen.

Linux PAM Standard Authentication

As Linux PAM corresponds to host system users, a system user must exist on each node which the user is allowed to log in on. The user authenticates with their usual system password. This realm is added by default and can’t be removed. In terms of configurability, an administrator can choose to require two-factor authentication with logins from the realm and to set the realm as the default authentication realm.

^{bron: https://pve.proxmox.com/wiki/User_Management}

[ Voor 8% gewijzigd door _Eend_ op 26-01-2022 11:47 . Reden: toevoeging ]

[Theone098]

Thanks. Ik zie daar hele tegenstrijdige informatie.

System administrator

The system’s root user can always log in via the Linux PAM realm and is an unconfined administrator. This user cannot be deleted, but attributes can still be changed.

Linux PAM Standard Authentication

Linux PAM is a framework for system-wide user authentication. These users are created on the host system with commands such as adduser. If PAM users exist on the Proxmox VE host system, corresponding entries can be added to Proxmox VE, to allow these users to log in via their system username and password.

Het gaat hier om de user root, die hoef ik dan toch niet via "adduser" nog eens toe te voegen. Ik kan prima via SSH inloggen als root (met een key).

[orvintax]

@Theone098

Het gaat hier om de user root, die hoef ik dan toch niet via "adduser" nog eens toe te voegen. Ik kan prima via SSH inloggen als root (met een key).

Nee want de user bestaat dus al. Maar krijg je dus de melding dat de user "root" niet bestaat?

[Theone098]

orvintax schreef op woensdag 26 januari 2022 @ 12:48:
@Theone098

[...]

Nee want de user bestaat dus al. Maar krijg je dus de melding dat de user "root" niet bestaat?

Precies. Ja, root@pve does not exist (o.i.d.).

Maar goed, maar eens een oude techniek van stal gehaald (reboot van de nodes) en nu werkt het weer ....

Zucht....

[_Eend_]

Theone098 schreef op woensdag 26 januari 2022 @ 14:05:
[...]

Precies. Ja, root@pve does not exist (o.i.d.).

Maar goed, maar eens een oude techniek van stal gehaald (reboot van de nodes) en nu werkt het weer ....

Zucht....

Het is soms net windows

[Theone098]

_Eend_ schreef op woensdag 26 januari 2022 @ 14:10:
[...]


Het is soms net windows

Had gehoopt daar met Linux van af te zijn

[nero355]

remcoXP schreef op dinsdag 25 januari 2022 @ 20:14:
mijn internet valt telkens uit, het heeft anderhalve jaar goed gewerkt, maar na een stroomstoring (denk ik) is het bal.
en ik kan het niet pinpointen.
en in mijn unifi webgui logs zie ik dat proxmox connectie is weggevallen.
vandaar.

Ik zou in zo'n geval dan eens gaan kijken of je apparatuur nog wel goed is, want in zo'n situatie kan er van alles stuk zijn gegaan!

Daarnaast kan je gewoon met bijvoorbeeld

# dmesg -w

monitoren op problemen met de NIC je Intel NUC gewoon direct vanuit het Proxmox OS

[remcoXP]

Geen idee wat hier bedoeld wordt maar goed ziet het er niet uit denk ik.

code:

410330.931201] e1000e 0000:00:1f.6 eno1: Detected Hardware Unit Hang:
                  TDH                  <df>
                  TDT                  <22>
                  next_to_use          <22>
                  next_to_clean        <de>
                buffer_info[next_to_clean]:
                  time_stamp           <1061c1d05>
                  next_to_watch        <df>
                  jiffies              <1061c26a8>
                  next_to_watch.status <0>
                MAC Status             <40080083>
                PHY Status             <796d>
                PHY 1000BASE-T Status  <3c00>
                PHY Extended Status    <3000>
                PCI Status             <10>
[410331.026964] e1000e 0000:00:1f.6 eno1: Reset adapter unexpectedly
[410331.119236] vmbr0: port 1(eno1) entered disabled state
[410334.781724] e1000e 0000:00:1f.6 eno1: NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
[410334.781830] vmbr0: port 1(eno1) entered blocking state
[410334.781832] vmbr0: port 1(eno1) entered forwarding state

nero355 schreef op woensdag 26 januari 2022 @ 15:04:
[...]

Ik zou in zo'n geval dan eens gaan kijken of je apparatuur nog wel goed is, want in zo'n situatie kan er van alles stuk zijn gegaan!

Daarnaast kan je gewoon met bijvoorbeeld

# dmesg -w

monitoren op problemen met de NIC je Intel NUC gewoon direct vanuit het Proxmox OS

[nero355]

remcoXP schreef op woensdag 26 januari 2022 @ 15:42:
Geen idee wat hier bedoeld wordt maar goed ziet het er niet uit denk ik.

code:

410330.931201] e1000e 0000:00:1f.6 eno1: Detected Hardware Unit Hang:
                  TDH                  <df>
                  TDT                  <22>
                  next_to_use          <22>
                  next_to_clean        <de>
                buffer_info[next_to_clean]:
                  time_stamp           <1061c1d05>
                  next_to_watch        <df>
                  jiffies              <1061c26a8>
                  next_to_watch.status <0>
                MAC Status             <40080083>
                PHY Status             <796d>
                PHY 1000BASE-T Status  <3c00>
                PHY Extended Status    <3000>
                PCI Status             <10>
[410331.026964] e1000e 0000:00:1f.6 eno1: Reset adapter unexpectedly
[410331.119236] vmbr0: port 1(eno1) entered disabled state
[410334.781724] e1000e 0000:00:1f.6 eno1: NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
[410334.781830] vmbr0: port 1(eno1) entered blocking state
[410334.781832] vmbr0: port 1(eno1) entered forwarding state

Daar was ik al bang voor!

Dergelijke klachten kwamen namelijk al eerder langs in dit topic : scorpion303 in "Het grote Proxmox VE topic"
En dan alle gerelateerde posts effe doorbladeren!

Veel succes alvast!

[HellStorm666]

Heej allemaal,

Ik ben van plan om m'n ESXi 6.7u3 server te vervangen door een Proxmox ve server.
Maar ik heb nog wel wat hulp/advies nodig.

Ik zal eerst mijn huidige systeem even uitleggen, daarna het probleem daar mee. Gevolgd door wat ik van plan ben te doen met Proxmox gevolgd door wat vragen.

Huidig systeem:

Ryzen 3600 op een ASRock B450 Pro4 moederbord met 2x 16GB ECC ram.
ESXi staat geinstalleerd op een 40GB Adata SSD welke op de onboard SATA3 controller zit.
Vervolgens is er een 1TB Corsair Force MP510 NVMe drive welke als VMFS6 geformatteerd is. Beide Windows Server VM's alsmede de Ubuntu VM met Docker en OpenVPN draaien daar op.
Ik heb een WD Blue HDD van 3TB en 6TB op de onboard SATA3 zitten, ook als VMFS6 geformatteerd. Deze zijn aan 1 van de Windows Server VM's gekoppeld en draaien daar als ReFS geformatteerde disks welke via NFS beschikbaar zijn voor de Ubuntu omgeving (opslag van de films ed) en door m'n Vero 4k+ benaderd kan worden.
Als laatste is er een Dell PERC H200 waar een WD Red Pro 10TB en 12TB disk aan hangen.
Deze zijn via passtrough doorgegeven aan de andere Windows Server VM.

De ene Windows Server VM draait BlueIris op en is FileServer.
De andere Windows Server VM heeft WireGuard om op die manier beschikbaar te zijn als remote opslag voor de backups van de zaak.
De Ubuntu VM draait alleen Docker.
In Docker draait vervolgens OpenHAB3, DeCONZ, Unifi Controller, Traefik, DSMR, Sabnzbd, Sonarr, Radarr, enz. (P1 port, Z-Wave en Zigbee via een USB-passtrough).

Het probleem:

Alle disks staan op zichzelf. 0,0 redundantie dus.
En nu wil de pech dus, dat de 10TB ReFS disk in windhoos RAW geworden is. weg data.
Even als side-note, ik heb Veeam draaien welke dagelijks een backup maakt van de OS-en naar de NAS.

Mijn plan voor Proxmox:

Ik wil dit allemaal dus (eindelijk) eens wat professioneler aanpakken.
Server hardware, met dubbele voeding, IMPI/iKVM, Hot-swap disks, RAID achtig systeem.

Dit wil ik als volgt aan gaan pakken.
2 kleine SSD's (40GB ofzo) in mirror waar vervolgens Proxmox op komt.
4x een Toshiba MG08 (512e) SATA3 van 14TB in ZFS RAIDz waar alle VM's en Containers op komen en de Data op komt (zijnde 28TB Ruimte voor de Backups, 14TB Ruimte voor de films, downloads enz.
Qua RAM denk ik 1GB per TB ZFS ruimte, dus 42GB RAM. Samen met de 32GB die ik al had geeft 74GB -> 96GB ivm 6x16GB (zal wss dan 4x 32GB worden).

De vragen:

Heb ik nog SSD/NVMe ruimte nodig ivm L2ARC of SLOG of ZIL?
Gaat OpenHAB, SABnzbd ed wel fatsoenlijk draaien op de RAIDz laag?
Of kan ik beter toch 2x een 1TB NVMe drive toevoegen in een mirror waar de OS-en op komen?
Of kan dat goedkoper door 1x een 1TB NVMe te nemen en de VM's die er op komen te backuppen met PBS naar een NAS?

[nero355]

HellStorm666 schreef op donderdag 27 januari 2022 @ 14:28:
En nu wil de pech dus, dat de 10TB ReFS disk in windhoos RAW geworden is. weg data.

Ik zou ondanks ReFS toch eens kijken of je wat daarvan kan recoveren met allerlei tooltjes die je op het web kan vinden indien je backups niet voldoen!

Ik wil dit allemaal dus (eindelijk) eens wat professioneler aanpakken.
Server hardware, met dubbele voeding, IMPI/iKVM, Hot-swap disks, RAID achtig systeem.

Als je het maar bij HBA's houdt voor je ZFS setup dan komt het wel goed!

Hou er wel rekening mee dat zulke systemen best wel wat herrie maken, vooral de voedingen ervan met hun kleine ventilatoren...

Dit wil ik als volgt aan gaan pakken.
2 kleine SSD's (40GB ofzo) in mirror waar vervolgens Proxmox op komt.

In principe niet nodig : HDD's van 36 GB kan ook!

Wil je toch SSD's : Zorg er gewoon voor dat je betrouwbare SSD's gebruikt die geen consumententroep zijn!

4x een Toshiba MG08 (512e) SATA3 van 14TB in ZFS RAIDz waar alle VM's en Containers op komen en de Data op komt (zijnde 28TB Ruimte voor de Backups, 14TB Ruimte voor de films, downloads enz.

Voor het mooie zou ik 6 x 14 TB in RAIDZ2 doen

Qua RAM denk ik 1GB per TB ZFS ruimte, dus 42GB RAM. Samen met de 32GB die ik al had geeft 74GB -> 96GB ivm 6x16GB (zal wss dan 4x 32GB worden).

Ik zou lekker die 32 GB hergebruiken op voorwaarde dat de nieuwe hardware ze leuk vindt, want dat 1 GB per 1 TB aan ZFS Storage verhaal kan je gerust negeren!

Heb ik nog SSD/NVMe ruimte nodig ivm L2ARC of SLOG of ZIL?

Alleen als je Sync Writes wilt Cachen zoals eerder uitgelegd...

Gaat OpenHAB, SABnzbd ed wel fatsoenlijk draaien op de RAIDz laag?

Ik zie geen reden waarom dat niet zou kunnen, maar daarbij moet ik wel zeggen dat ik OpenHAB niet ken en heel veel leechers sabNZBd een eigen stukje opslag geven voor alles wat die moet doen en daarna het uitgepakte bestand naar de vaste opslag verplaatsen

Of kan ik beter toch 2x een 1TB NVMe drive toevoegen in een mirror waar de OS-en op komen?
Of kan dat goedkoper door 1x een 1TB NVMe te nemen en de VM's die er op komen te backuppen met PBS naar een NAS?

Zulke hardware heb je alleen nodig voor doeleinden die veel "concurrent Reads/Writes" kennen en IMHO overdrijft men vaak daarmee, want heel vaak zitten die NVMe (Queue van 65535 commands) of zelfs SATA SSD's (Queue van 8 commands) gewoon uit hun neus te vreten!

Daarnaast zou ik eens kijken om zoveel mogelijk Windows zooi te vervangen door Linux alternatieven : Wireguard/Samba/enz.

Scheelt je weer licenties en alle ellende die daarbij komt kijken!

[HellStorm666]

Bedankt voor je antwoorden!

nero355 schreef op donderdag 27 januari 2022 @ 17:28:
[...]

Ik zou ondanks ReFS toch eens kijken of je wat daarvan kan recoveren met allerlei tooltjes die je op het web kan vinden indien je backups niet voldoen!

Hebben we naar gekeken, uiteindelijk besloten dat het de ellende niet waard is. De andere schijf had nog wat backups die ouder waren en de on-site backups en S3-WORM backups die recenter zijn hadden ook die VM's er in.

[...]

Als je het maar bij HBA's houdt voor je ZFS setup dan komt het wel goed!

Nog specifieke HBA's? (megaRAID ofzo?)

Hou er wel rekening mee dat zulke systemen best wel wat herrie maken, vooral de voedingen ervan met hun kleine ventilatoren...

Dat is ook waar ik bang voor ben idd.
Idee was die fan's te vervangen door stillere (van Noctua ofzo).

[...]

In principe niet nodig : HDD's van 36 GB kan ook!

Wil je toch SSD's : Zorg er gewoon voor dat je betrouwbare SSD's gebruikt die geen consumententroep zijn!

is zo'n SATA-VDOM een goede optie?
Heel veel schrijfacties krijgt t niet te verwerken toch? dan is een consumenten ding (voorkeur voor 2 verschillende batches/merken) in mirror toch betrouwbaar genoeg?

[...]

Voor het mooie zou ik 6 x 14 TB in RAIDZ2 doen

Hoezo de 6x dan? 5x 14TB kan dan toch ook?
Had inderdaad al gevonden dat in 8% van de gevallen een andere disk faalt tijdens het rebuilden. Dan is RAIDz niet echt een prettig idee en zou RAIDz2 zekerder moeten zijn.
Wel wat zonde dat de van de 5 (of 6) schijven er maar 3 (of 4) bruikbaar heb.

[...]

Ik zou lekker die 32 GB hergebruiken op voorwaarde dat de nieuwe hardware ze leuk vindt, want dat 1 GB per 1 TB aan ZFS Storage verhaal kan je gerust negeren!

O, dacht dat nog steeds een richtlijn was. Vooral omdat ARC dan beter gebruikt kon worden (meer ruimte er voor) waardoor alles sneller reageert.

[...]

Alleen als je Sync Writes wilt Cachen zoals eerder uitgelegd...

Begreep dat SLOG ook een extra beveiliging is als er hard-shutdown/reset is tijdens een schrijfactie, zodat ie na t herstarten alsnog de data kwijt kan.
L2ARC heb ik zo m'n twijfels over idd. Denk dat met wat meer RAM je dit totaal niet ga gebruiken.

[...]

Ik zie geen reden waarom dat niet zou kunnen, maar daarbij moet ik wel zeggen dat ik OpenHAB niet ken en heel veel leechers sabNZBd een eigen stukje opslag geven voor alles wat die moet doen en daarna het uitgepakte bestand naar de vaste opslag verplaatsen

OpenHAB, vergelijkbaar met HomeAssistant, bestuurt zo ongeveer alles hier in huis.
Stroom van elk apparaat dat redelijk wat gebruikt wordt bijgehouden, alle lampen en verwarmingen worden er mee geregeld.
Bedoeling is wel dat dat spul nog snel blijft reageren (draait daarom nu ook op NVMe).
Dat zelfde geldt natuurlijk voor SabNZBd. die moet wel de 1Gbit WAN kunnen gebruiken en lekker rap uitpakken.
En als de Vero 4k+ (mediaspeler) z'n bibliotheek update moet dat natuurlijk niet zitten wachten op trage schijven ofzo. (volgens mij haalt dat alleen de index van de bestanden op en zou dat dus vanaf de ARC kunnen komen).

[...]

Zulke hardware heb je alleen nodig voor doeleinden die veel "concurrent Reads/Writes" kennen en IMHO overdrijft men vaak daarmee, want heel vaak zitten die NVMe (Queue van 65535 commands) of zelfs SATA SSD's (Queue van 8 commands) gewoon uit hun neus te vreten!

Daarnaast zou ik eens kijken om zoveel mogelijk Windows zooi te vervangen door Linux alternatieven : Wireguard/Samba/enz.

Heeft idd m'n voorkeur ook. Maar die 2x Windows Server 2019 std licentie heb ik al
En OpenVPN is tot 2 gebruiker gratis.
Maar denk idd wel dat ik over ga op WireGuard met de nieuwe setup.

Wat voor software raad je aan om de data via NFS beschikbaar te stellen (en via FTP/sFTP)?
Qua overzicht misch mooi als dat iets is waar Sonarr, Radarr, SabNZBd ed ook bij in zitten met auto-update.

Scheelt je weer licenties en alle ellende die daarbij komt kijken!

Als ik puur naar de data kijk is dat denk ik in de volgende soort data op te splitsen:
Constante schrijfdata:
- 3x 5mp camera
- Home Automation spul (vooral de logs)

Gefaseerde schrijfdata:
- Downloaden van spul

Gefaseerde lees+schrijfdata:
- Veeam off-site Backups

Gefaseerde leesdata:
- Media welke afgespeeld wordt op een extern apparaat


Qua hardware:
Op zich is het niet erg als het systeem een keer een dag stil staat (bijv om een voeding te vervangen), zolang de data maar niet kwijt raakt.
Is het in zo'n geval misschien goedkoper om een server moederbord te gebruiken en een normale enkele voeding (die stiller is en mogelijk efficiënter)?

[nero355]

HellStorm666 schreef op vrijdag 28 januari 2022 @ 09:03:
Nog specifieke HBA's? (megaRAID ofzo?)

ZFS basics : Alleen RAID-loze HBA's gebruiken!

Hoezo de 6x dan? 5x 14TB kan dan toch ook?
Had inderdaad al gevonden dat in 8% van de gevallen een andere disk faalt tijdens het rebuilden. Dan is RAIDz niet echt een prettig idee en zou RAIDz2 zekerder moeten zijn.
Wel wat zonde dat de van de 5 (of 6) schijven er maar 3 (of 4) bruikbaar heb.

Heeft te maken met het nuttig opzetten van je storage onder ZFS

Zie : Anoniem: 15758 in "Het grote ZFS topic"

is zo'n SATA-VDOM een goede optie?

Geen idee wat dat is eerlijk gezegd...

OpenHAB, vergelijkbaar met HomeAssistant, bestuurt zo ongeveer alles hier in huis.
Stroom van elk apparaat dat redelijk wat gebruikt wordt bijgehouden, alle lampen en verwarmingen worden er mee geregeld.
Bedoeling is wel dat dat spul nog snel blijft reageren (draait daarom nu ook op NVMe).
Dat zelfde geldt natuurlijk voor SabNZBd. die moet wel de 1Gbit WAN kunnen gebruiken en lekker rap uitpakken.

Zoals ik het lees : Een hoop overkill!

En als de Vero 4k+ (mediaspeler) z'n bibliotheek update moet dat natuurlijk niet zitten wachten op trage schijven ofzo. (volgens mij haalt dat alleen de index van de bestanden op en zou dat dus vanaf de ARC kunnen komen).

Ten eerste : NICE!!! @ Vero 4K+

Verder zou ik me daar niet al te druk om maken, want vooral als je een losse download HDD/SSD gebruikt dan zal je daar weinig last van hebben

Heeft idd m'n voorkeur ook. Maar die 2x Windows Server 2019 std licentie heb ik al
En OpenVPN is tot 2 gebruiker gratis.
Maar denk idd wel dat ik over ga op WireGuard met de nieuwe setup.

Ik kan me niet herinneren dat OpenVPN ooit om licenties vroeg onder Linux dus dat vind ik wel raar

Verder hebben beiden zo hun voor en nadelen dus kijk daar effe goed naar!

Wat voor software raad je aan om de data via NFS beschikbaar te stellen (en via FTP/sFTP)?

Volgens mij kan dat gewoon vanuit het OS zelf

Al een tijdje niks mee gedaan en zo...

Qua overzicht misch mooi als dat iets is waar Sonarr, Radarr, SabNZBd ed ook bij in zitten met auto-update.

Huh

Qua hardware:
Op zich is het niet erg als het systeem een keer een dag stil staat (bijv om een voeding te vervangen), zolang de data maar niet kwijt raakt.
Is het in zo'n geval misschien goedkoper om een server moederbord te gebruiken en een normale enkele voeding (die stiller is en mogelijk efficiënter)?

Moet je zelf overwegen, want ik zie het effe niet meer :
- Is dit een zakelijke setup ?!
- Of is dit een privé setup ?!

Beiden lijkt me namelijk niet echt verstandig...

[UTMachine]

remcoXP schreef op woensdag 26 januari 2022 @ 15:42:
Geen idee wat hier bedoeld wordt maar goed ziet het er niet uit denk ik.

code:

410330.931201] e1000e 0000:00:1f.6 eno1: Detected Hardware Unit Hang:
                  TDH                  <df>
                  TDT                  <22>
                  next_to_use          <22>
                  next_to_clean        <de>
                buffer_info[next_to_clean]:
                  time_stamp           <1061c1d05>
                  next_to_watch        <df>
                  jiffies              <1061c26a8>
                  next_to_watch.status <0>
                MAC Status             <40080083>
                PHY Status             <796d>
                PHY 1000BASE-T Status  <3c00>
                PHY Extended Status    <3000>
                PCI Status             <10>
[410331.026964] e1000e 0000:00:1f.6 eno1: Reset adapter unexpectedly
[410331.119236] vmbr0: port 1(eno1) entered disabled state
[410334.781724] e1000e 0000:00:1f.6 eno1: NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
[410334.781830] vmbr0: port 1(eno1) entered blocking state
[410334.781832] vmbr0: port 1(eno1) entered forwarding state

[...]

Is een bekend probleem

Ik heb het volgende in mijn /etc/network/interfaces:

code:

iface eno1 inet manual
  post-up /usr/sbin/ethtool -K eno1 gso off gro off tso off tx off rx off rxvlan off txvlan off sg off

En nu is het rock stable

[CurlyMo]

UTMachine schreef op vrijdag 28 januari 2022 @ 22:36:
[...]


Is een bekend probleem

Ik heb het volgende in mijn /etc/network/interfaces:

code:

iface eno1 inet manual
  post-up /usr/sbin/ethtool -K eno1 gso off gro off tso off tx off rx off rxvlan off txvlan off sg off

En nu is het rock stable

Idem

---

Niet helemaal. Dit was hier genoeg:

code:

        post-up /usr/sbin/ethtool -K eno1 tso off gso off

[ Voor 13% gewijzigd door CurlyMo op 28-01-2022 23:16 ]

[Koepert]

Kan iemand me wellicht helpen met het ' lezen' van deze foutmelding? Ik probeer 2 containers te backuppen naar een NAS (NFSstorage in Proxmox toegevoegd). Ik snap dat er ergens iets met de permissions iets mis gaat maar begrijp niet goed waar die oorzaak in zit (aan de NAS kant, aan de containerkant of elders)

code:

creating vzdump archive '/mnt/pve/SynoBU/dump/vzdump-lxc-105-2022_01_29-03_15_03.tar.zst'
105: 2022-01-29 03:15:06 INFO: tar: /mnt/pve/SynoBU/dump/vzdump-lxc-105-2022_01_29-03_15_03.tmp: Cannot open: Permission denied
105: 2022-01-29 03:15:06 INFO: tar: Error is not recoverable: exiting now
105: 2022-01-29 03:15:06 INFO: cleanup temporary 'vzdump' snapshot
105: 2022-01-29 03:15:07 ERROR: Backup of VM 105 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/mnt/pve/SynoBU/dump/vzdump-lxc-105-2022_01_29-03_15_03.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | zstd --rsyncable '--threads=1' >/mnt/pve/SynoBU/dump/vzdump-lxc-105-2022_01_29-03_15_03.tar.dat' failed: exit code 2

Een backup van een VM die dezelfde nacht loopt (ander tijdstip) lukt wel.

[CurlyMo]

@Koepert Kan je de output van mount plaatsen?

[Koepert]

CurlyMo schreef op zaterdag 29 januari 2022 @ 09:44:
@Koepert Kan je de output van mount plaatsen?

Hierzo:

code:

sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,relatime)
udev on /dev type devtmpfs (rw,nosuid,relatime,size=4006720k,nr_inodes=1001680,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=806924k,mode=755)
/dev/mapper/pve-root on / type ext4 (rw,relatime,errors=remount-ro)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup2 on /sys/fs/cgroup/unified type cgroup2 (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
none on /sys/fs/bpf type bpf (rw,nosuid,nodev,noexec,relatime,mode=700)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
mqueue on /dev/mqueue type mqueue (rw,relatime)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,pagesize=2M)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=40,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=16864)
sunrpc on /run/rpc_pipefs type rpc_pipefs (rw,relatime)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
configfs on /sys/kernel/config type configfs (rw,relatime)
lxcfs on /var/lib/lxcfs type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
/dev/fuse on /etc/pve type fuse (rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other)
IPADRES NAS:/volume1/Proxmox Backup Server on /mnt/pve/SynoBU type nfs4 (rw,relatime,vers=4.0,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=IPADRES PRMOX,local_lock=none,addr=IPADRES NAS)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,size=806920k,mode=700)

[CurlyMo]

En de output van touch /mnt/pve/SynoBU/test ?

[Koepert]

CurlyMo schreef op zaterdag 29 januari 2022 @ 12:15:
En de output van touch /mnt/pve/SynoBU/test ?

Niets .. Geen melding in shell in elk geval.

Ga ik in mn NAS naar desbetreffende map:


Bestand: Test

[CurlyMo]

Koepert schreef op zaterdag 29 januari 2022 @ 12:26:
[...]


Niets .. Geen melding in shell in elk geval.

Ga ik in mn NAS naar desbetreffende map:


Bestand: Test

Dan zit het probleem in de rechten aan beide kanten. De backup wordt gedraaid vanuit een gebruiker die op je NAS geen rechten heeft. Dus of je draait de backup als root of je moet die gebruikers rechten op je NAS aanpassen.

[Koepert]

CurlyMo schreef op zaterdag 29 januari 2022 @ 12:58:
[...]

Dan zit het probleem in de rechten aan beide kanten. De backup wordt gedraaid vanuit een gebruiker die op je NAS geen rechten heeft. Dus of je draait de backup als root of je moet die gebruikers rechten op je NAS aanpassen.

Ik begrijp je redenatie, maar dat is toch gek? (Nee: Ik als leek vind dat gek--> ) De backup met de VM lukt immers wel.

- Zelfde node
- Zelfde NAS
- Zelfde job settings (behalve tijdstip en dus verschil VM en Container)..

Dus mijn gevoel zegt dan dat het expliciet in de container --> NAS route zit. Of bedoel je dat deze back-up job eigenlijk ' op de container' gestart wordt? Kan het dan komen omdat die ' unprivileged' zijn? Anders begrijp ik niet zo goed welke rechten ik moet aanpassen. Toen ik 1 job had (zowel deze containers (het zijn er 2 die failen) als de VM) failden ook alleen de containers. Dat was vanuit dezelfde job.

[CurlyMo]

Koepert schreef op zaterdag 29 januari 2022 @ 13:03:
[...]
Dus mijn gevoel zegt dan dat het expliciet in de container --> NAS route zit.

Dat zou ook kunnen, maar dat ligt er waarschijnlijk aan dat de backup van specifieke de containers als een andere user wordt gedraaid.

[Koepert]

CurlyMo schreef op zaterdag 29 januari 2022 @ 13:16:
[...]

Dat zou ook kunnen, maar dat ligt er waarschijnlijk aan dat de backup van specifieke de containers als een andere user wordt gedraaid.

De vraag is dan hoe ik dat corrigeer.. of is dat het unprivileged van de container?

[orvintax]

Koepert schreef op zondag 30 januari 2022 @ 15:08:
[...]


De vraag is dan hoe ik dat corrigeer.. of is dat het unprivileged van de container?

Als je refereerd naar unprivileged/privileged containers dat is iets heel anders. Heeft te maken met het type LXC container. Zou natuurlijk kunnen dat die door een andere user wordt gebackuped. Maar dat lijkt me sterk

[Koepert]

orvintax schreef op zondag 30 januari 2022 @ 19:44:
[...]

Als je refereerd naar unprivileged/privileged containers dat is iets heel anders. Heeft te maken met het type LXC container. Zou natuurlijk kunnen dat die door een andere user wordt gebackuped. Maar dat lijkt me sterk

Het lijkt mij ook vreemd, maar ik begrijp alsnog het 'probleem' niet waarom mijn back-ups van die (inderdaad LXC)containers failen.

[CurlyMo]

Koepert schreef op zondag 30 januari 2022 @ 20:32:
[...]


Het lijkt mij ook vreemd, maar ik begrijp alsnog het 'probleem' niet waarom mijn back-ups van die (inderdaad LXC)containers failen.

Heb je met top of ps -aux gekeken naar de processen met hun users waaronder ze draaien?

[Koepert]

CurlyMo schreef op zondag 30 januari 2022 @ 20:55:
[...]

Heb je met top of ps -aux gekeken naar de processen met hun users waaronder ze draaien?

Dit is de output van nu van (in de shell van de host) ps -aux:

code:

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.1 171760  9708 ?        Ss    2021   2:24 /sbin/init
root         2  0.0  0.0      0     0 ?        S     2021   0:00 [kthreadd]
root         3  0.0  0.0      0     0 ?        I<    2021   0:00 [rcu_gp]
root         4  0.0  0.0      0     0 ?        I<    2021   0:00 [rcu_par_gp]
root         6  0.0  0.0      0     0 ?        I<    2021   0:00 [kworker/0:0H-kblockd]
root         9  0.0  0.0      0     0 ?        I<    2021   0:00 [mm_percpu_wq]
root        10  0.0  0.0      0     0 ?        S     2021   4:58 [ksoftirqd/0]
root        11  0.0  0.0      0     0 ?        I     2021   6:32 [rcu_sched]
root        12  0.0  0.0      0     0 ?        S     2021   0:08 [migration/0]
root        13  0.0  0.0      0     0 ?        S     2021   0:00 [idle_inject/0]
root        14  0.0  0.0      0     0 ?        S     2021   0:00 [cpuhp/0]
root        15  0.0  0.0      0     0 ?        S     2021   0:00 [cpuhp/1]
root        16  0.0  0.0      0     0 ?        S     2021   0:00 [idle_inject/1]
root        17  0.0  0.0      0     0 ?        S     2021   0:09 [migration/1]
root        18  0.0  0.0      0     0 ?        S     2021   0:44 [ksoftirqd/1]
root        20  0.0  0.0      0     0 ?        I<    2021   0:00 [kworker/1:0H-kblockd]
root        21  0.0  0.0      0     0 ?        S     2021   0:00 [kdevtmpfs]
root        22  0.0  0.0      0     0 ?        I<    2021   0:00 [netns]
root        23  0.0  0.0      0     0 ?        S     2021   0:00 [rcu_tasks_kthre]
root        24  0.0  0.0      0     0 ?        S     2021   0:00 [kauditd]
root        25  0.0  0.0      0     0 ?        S     2021   0:01 [khungtaskd]
root        26  0.0  0.0      0     0 ?        S     2021   0:00 [oom_reaper]
root        27  0.0  0.0      0     0 ?        I<    2021   0:00 [writeback]
root        28  0.0  0.0      0     0 ?        S     2021   0:00 [kcompactd0]
root        29  0.0  0.0      0     0 ?        SN    2021  11:58 [ksmd]
root        30  0.0  0.0      0     0 ?        SN    2021   0:22 [khugepaged]
root        77  0.0  0.0      0     0 ?        I<    2021   0:00 [kintegrityd]
root        78  0.0  0.0      0     0 ?        I<    2021   0:00 [kblockd]
root        79  0.0  0.0      0     0 ?        I<    2021   0:00 [blkcg_punt_bio]
root        80  0.0  0.0      0     0 ?        I<    2021   0:00 [tpm_dev_wq]
root        81  0.0  0.0      0     0 ?        I<    2021   0:00 [ata_sff]
root        82  0.0  0.0      0     0 ?        I<    2021   0:00 [md]
root        83  0.0  0.0      0     0 ?        I<    2021   0:00 [edac-poller]
root        84  0.0  0.0      0     0 ?        I<    2021   0:00 [devfreq_wq]
root        85  0.0  0.0      0     0 ?        S     2021   0:00 [watchdogd]
root        88  0.0  0.0      0     0 ?        S     2021   0:19 [kswapd0]
root        89  0.0  0.0      0     0 ?        S     2021   0:00 [ecryptfs-kthrea]
root        91  0.0  0.0      0     0 ?        I<    2021   0:00 [kthrotld]
root        92  0.0  0.0      0     0 ?        S     2021   0:00 [irq/24-pciehp]
root        93  0.0  0.0      0     0 ?        I<    2021   0:00 [acpi_thermal_pm]
root        94  0.0  0.0      0     0 ?        I<    2021   0:00 [nvme-wq]
root        95  0.0  0.0      0     0 ?        I<    2021   0:00 [nvme-reset-wq]
root        96  0.0  0.0      0     0 ?        I<    2021   0:00 [nvme-delete-wq]
root        97  0.0  0.0      0     0 ?        I<    2021   0:00 [ipv6_addrconf]
root       106  0.0  0.0      0     0 ?        I<    2021   0:00 [kstrp]
root       120  0.0  0.0      0     0 ?        I<    2021   0:00 [charger_manager]
root       183  0.0  0.0      0     0 ?        S     2021   0:00 [scsi_eh_0]
root       184  0.0  0.0      0     0 ?        I<    2021   0:00 [scsi_tmf_0]
root       185  0.0  0.0      0     0 ?        S     2021   0:00 [scsi_eh_1]
root       186  0.0  0.0      0     0 ?        I<    2021   0:00 [scsi_tmf_1]
root       187  0.0  0.0      0     0 ?        S     2021   0:00 [scsi_eh_2]
root       188  0.0  0.0      0     0 ?        I<    2021   0:00 [scsi_tmf_2]
root       189  0.0  0.0      0     0 ?        S     2021   0:00 [scsi_eh_3]
root       190  0.0  0.0      0     0 ?        I<    2021   0:00 [scsi_tmf_3]
root       197  0.0  0.0      0     0 ?        I<    2021   0:36 [kworker/1:1H-kblockd]
root       199  0.0  0.0      0     0 ?        I<    2021   0:49 [kworker/0:1H-kblockd]
root       213  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       214  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       218  0.0  0.0      0     0 ?        I<    2021   0:00 [dm_bufio_cache]
root       220  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       221  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       240  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       243  0.0  0.0      0     0 ?        I<    2021   0:00 [kcopyd]
root       246  0.0  0.0      0     0 ?        I<    2021   0:00 [dm-thin]
root       247  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       248  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       260  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       267  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       271  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       280  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       285  0.0  0.0      0     0 ?        I<    2021   0:00 [kdmflush]
root       330  0.0  0.0      0     0 ?        S     2021   0:44 [jbd2/dm-1-8]
root       331  0.0  0.0      0     0 ?        I<    2021   0:00 [ext4-rsv-conver]
100000     356  0.0  0.0  43468  1440 ?        Ss   Jan02   0:06 /usr/lib/postfix/sbin/master -w
100101     358  0.0  0.0  43864  1188 ?        S    Jan02   0:01 qmgr -l -t unix -u
root       379  0.0  0.0      0     0 ?        I<    2021   0:00 [rpciod]
root       380  0.0  0.0      0     0 ?        I<    2021   0:00 [xprtiod]
root       381  0.0  0.2  55780 18496 ?        Ss    2021   0:40 /lib/systemd/systemd-journald
root       385  0.0  0.2  81052 22348 ?        SLsl  2021   9:42 /sbin/dmeventd -f
root       399  0.0  0.0      0     0 ?        I<    2021   0:00 [iscsi_eh]
root       400  0.0  0.0  23496  4736 ?        Ss    2021   4:17 /lib/systemd/systemd-udevd
root       401  0.0  0.0      0     0 ?        I<    2021   0:00 [ib-comp-wq]
root       402  0.0  0.0      0     0 ?        I<    2021   0:00 [ib-comp-unb-wq]
root       403  0.0  0.0      0     0 ?        I<    2021   0:00 [ib_mcast]
root       404  0.0  0.0      0     0 ?        I<    2021   0:00 [ib_nl_sa_wq]
root       405  0.0  0.0      0     0 ?        I<    2021   0:00 [rdma_cm]
101000     414  0.0  0.0   5048  2328 pts/0    S+   Jan02   0:00 -bash
root       430  0.0  0.0      0     0 ?        S<    2021   0:00 [spl_system_task]
root       431  0.0  0.0      0     0 ?        S<    2021   0:00 [spl_delay_taskq]
root       432  0.0  0.0      0     0 ?        S<    2021   0:00 [spl_dynamic_tas]
root       433  0.0  0.0      0     0 ?        S<    2021   0:00 [spl_kmem_cache]
root       539  0.0  0.0      0     0 ?        S     2021   0:00 [irq/29-mei_me]
root       546  0.0  0.0      0     0 ?        S<    2021   0:00 [zvol]
root       547  0.0  0.0      0     0 ?        S     2021   0:00 [arc_prune]
root       548  0.0  0.0      0     0 ?        SN    2021   0:41 [arc_evict]
root       549  0.0  0.0      0     0 ?        SN    2021   0:38 [arc_reap]
root       550  0.0  0.0      0     0 ?        S     2021   0:00 [dbu_evict]
root       551  0.0  0.0      0     0 ?        SN    2021   0:37 [dbuf_evict]
root       552  0.0  0.0      0     0 ?        SN    2021   0:00 [z_vdev_file]
root       553  0.0  0.0      0     0 ?        S     2021   0:20 [l2arc_feed]
root       557  0.0  0.0      0     0 ?        I<    2021   0:00 [cryptd]
systemd+   608  0.0  0.0  93080  4928 ?        Ssl   2021   0:02 /lib/systemd/systemd-timesyncd
_rpc       609  0.0  0.0   6820  3060 ?        Ss    2021   0:01 /sbin/rpcbind -f -w
root       621  0.0  0.0 225820  3808 ?        Ssl   2021   0:08 /usr/sbin/rsyslogd -n -iNONE
message+   622  0.0  0.0   9096  3764 ?        Ss    2021   0:33 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-a
root       625  0.0  0.0 140640   716 ?        Ssl   2021   0:00 /usr/lib/x86_64-linux-gnu/pve-lxc-syscalld/pve-lxc-syscalld --system /run/pve/lxc
root       626  0.0  0.0  19516  5704 ?        Ss    2021   0:13 /lib/systemd/systemd-logind
root       628  0.0  0.0   2140   744 ?        Ss    2021   0:59 /usr/sbin/watchdog-mux
root       630  0.0  0.0 520208  2692 ?        Ssl   2021   0:53 /usr/bin/lxcfs /var/lib/lxcfs
root       631  0.0  0.0  12228  4356 ?        Ss    2021   0:00 /usr/sbin/smartd -n
root       632  0.0  0.0   4088  1424 ?        Ss    2021   0:00 /usr/sbin/qmeventd /var/run/qmeventd.sock
root       647  0.0  0.0   6724  2304 ?        S     2021   0:31 /bin/bash /usr/sbin/ksmtuned
root       733  0.0  0.0   7292  1752 ?        Ss    2021   0:00 /usr/lib/x86_64-linux-gnu/lxc/lxc-monitord --daemon
root       753  0.0  0.0   2272   680 ?        S     2021   0:55 bpfilter_umh
root       755  0.0  0.0   6888   280 ?        Ss    2021   0:46 /sbin/iscsid
root       756  0.0  0.0   7392  5016 ?        S<Ls  2021   0:00 /sbin/iscsid
root       758  0.0  0.0  15848  4304 ?        Ss    2021   0:00 /usr/sbin/sshd -D
root       789  0.0  0.0   5608  1476 tty1     Ss+   2021   0:00 /sbin/agetty -o -p -- \u --noclear tty1 linux
root       878  0.0  0.0 945764  3440 ?        Ssl   2021  10:56 /usr/bin/rrdcached -B -b /var/lib/rrdcached/db/ -j /var/lib/rrdcached/journal/ -p
root       939  0.0  0.0  43468  2408 ?        Ss    2021   0:05 /usr/lib/postfix/sbin/master -w
postfix    941  0.0  0.0  43936  5160 ?        S     2021   0:01 qmgr -l -t unix -u
root       943  0.0  0.6 1120396 54476 ?       Ssl   2021  40:59 /usr/bin/pmxcfs
root       953  0.0  0.0   8500  2540 ?        Ss    2021   0:03 /usr/sbin/cron -f
root       960  0.1  0.3 306228 30600 ?        Ss    2021  87:32 pve-firewall
root       974  0.4  0.4 304748 38528 ?        Ss    2021 210:16 pvestatd
root       985  0.0  0.2 355672 22468 ?        Ss    2021   0:27 pvedaemon
root       993  0.0  0.1 338184  8512 ?        Ss    2021   3:13 pve-ha-crm
www-data   994  0.0  1.7 357080 144576 ?       Ss    2021   0:47 pveproxy
www-data  1000  0.0  0.7  70512 57856 ?        Ss    2021   0:33 spiceproxy
root      1002  0.0  0.3 337784 30976 ?        Ss    2021   5:16 pve-ha-lrm
root      1016 29.9 51.1 5772188 4124168 ?     Rl    2021 13102:25 /usr/bin/kvm -id 100 -name hassosova-5.11 -no-shutdown -chardev socket,id=qmp,p
root      1019  0.0  0.0      0     0 ?        S     2021   0:05 [kvm-nx-lpage-re]
root      1038  0.1  0.0      0     0 ?        S     2021  49:37 [vhost-1016]
root      1042  0.0  0.0      0     0 ?        S     2021   0:00 [kvm-pit/1016]
root      1353  0.0  0.0      0     0 ?        I<    2021   0:00 [cfg80211]
100998    2986  0.0  0.1 473608 12256 ?        Sl   Jan29   0:54 /usr/bin/pihole-FTL
root      3156  0.0  0.5 364300 43260 ?        S    Jan22   0:22 pvedaemon worker
100107    3483  0.0  0.2  45328 22428 ?        Ss   Jan06   4:41 /usr/sbin/unbound -d
root      4222  0.0  0.0      0     0 ?        I<   Jan09   0:00 [kdmflush]
postfix   5925  0.0  0.1  43832  8256 ?        S    20:13   0:00 pickup -l -t unix -u -c
100101    6900  0.0  0.0  40240  6848 ?        S    20:17   0:00 pickup -l -t unix -u -c
100033    7268  0.0  0.1 198240  9968 ?        S    Jan22   0:04 /usr/bin/php-cgi
100033    7790  0.0  0.1 198276  9956 ?        S    Jan22   0:04 /usr/bin/php-cgi
100033    7842  0.0  0.1 198260 10636 ?        S    Jan22   0:04 /usr/bin/php-cgi
100033    7938  0.0  0.1 198380 10124 ?        S    Jan22   0:04 /usr/bin/php-cgi
root     10520  0.0  0.0      0     0 ?        I<   Jan02   0:00 [kdmflush]
root     11807  0.0  0.0      0     0 ?        I    20:36   0:00 [kworker/u4:1-events_unbound]
root     11990  0.0  0.0   7372  4408 ?        Ss   Jan21   0:52 /usr/bin/lxc-start -F -n 106
root     12005  0.0  0.0      0     0 ?        S    Jan21   0:07 [kmmpd-dm-13]
root     12006  0.0  0.0      0     0 ?        S    Jan21   0:17 [jbd2/dm-13-8]
root     12007  0.0  0.0      0     0 ?        I<   Jan21   0:00 [ext4-rsv-conver]
100000   12014  0.0  0.1 166416  8424 ?        Ss   Jan21   0:20 /sbin/init
100000   12132  0.0  0.2  79712 23720 ?        Ss   Jan21   0:03 /lib/systemd/systemd-journald
root     12222  0.0  0.0   2400  1468 ?        Ss   Jan21   0:00 /usr/bin/dtach -A /var/run/dtach/vzctlconsole106 -r winch -z lxc-console -n 106 -
root     12223  0.0  0.0   7284  3636 pts/3    Ss+  Jan21   0:00 lxc-console -n 106 -e -1
100000   12241  0.0  0.0   3676  2100 ?        Ss   Jan21   0:00 /usr/sbin/cron -f
100106   12242  0.0  0.0   8344  3124 ?        Ss   Jan21   0:04 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-a
100000   12245  0.0  0.0 151096  2348 ?        Ssl  Jan21   0:00 /usr/sbin/rsyslogd -n -iNONE
100000   12247  0.0  0.0  13952  5012 ?        Ss   Jan21   0:02 /lib/systemd/systemd-logind
100000   13541  0.0  0.0 1148900  884 ?        Sl   Jan21   0:00 /usr/bin/docker-proxy -proto tcp -host-ip 0.0.0.0 -host-port 3001 -container-ip 1
100000   13547  0.0  0.0 1148644  836 ?        Sl   Jan21   0:00 /usr/bin/docker-proxy -proto tcp -host-ip :: -host-port 3001 -container-ip 172.18
100000   13571  0.0  0.0 713104  5916 ?        Sl   Jan21   1:17 /usr/bin/containerd-shim-runc-v2 -namespace moby -id 9dd1a251416ad037ccdd3142066e
100000   13594  0.0  0.0   2140   656 ?        Ss   Jan21   0:00 /usr/bin/dumb-init -- extra/entrypoint.sh node server/server.js
100000   13651  0.2  1.0 1001976 83716 ?       Ssl  Jan21  38:13 node server/server.js
100000   13827  0.0  0.2 1345104 16288 ?       Ssl  Jan21   2:18 /usr/bin/containerd
100000   13828  0.0  0.0   2436  1324 pts/0    Ss+  Jan21   0:00 /sbin/agetty -o -p -- \u --noclear --keep-baud console 115200,38400,9600 linux
100000   13829  0.0  0.0   7228  1868 pts/0    Ss   Jan21   0:00 /bin/login -p --
100000   13830  0.0  0.0   2436  1448 pts/1    Ss+  Jan21   0:00 /sbin/agetty -o -p -- \u --noclear --keep-baud tty2 115200,38400,9600 linux
100000   13836  0.0  0.0  13284  3400 ?        Ss   Jan21   0:00 sshd: /usr/sbin/sshd -D [listener] 0 of 10-100 startups
100000   13985  0.0  0.0  39976  1780 ?        Ss   Jan21   0:01 /usr/lib/postfix/sbin/master -w
100101   13987  0.0  0.0  40280  1764 ?        S    Jan21   0:00 qmgr -l -t unix -u
100000   13995  0.0  0.5 1901756 40620 ?       Ssl  Jan21   6:16 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
100000   14234  0.0  0.0 711184  3476 ?        Sl   Jan21   0:22 /usr/bin/containerd-shim-runc-v2 -namespace moby -id 4796a676b77e3d3be33d7d202476
100000   14331  0.0  0.2 747676 22396 ?        Ssl  Jan21   1:08 /portainer
100101   14780  0.0  0.0  43816  7632 ?        S    20:47   0:00 pickup -l -t unix -u -c
root     16520  0.0  0.0 100652  3600 ?        Ssl  Jan26   0:00 /usr/sbin/zed -F
101000   17007  0.0  0.0   5096  2280 pts/0    S+   Jan21   0:00 -bash
root     17036  0.0  0.0      0     0 ?        I<   Jan04   0:00 [nfsiod]
root     17046  0.0  0.0      0     0 ?        I<   Jan04   0:08 [kworker/u5:2-xprtiod]
statd    17060  0.0  0.0  57900  4460 ?        Ss   Jan04   0:00 /sbin/rpc.statd --no-notify
root     18396  0.0  0.0      0     0 ?        I    21:02   0:00 [kworker/0:2-cgroup_destroy]
root     18850  0.0  0.0  86172  2120 ?        Ssl  00:00   0:06 /usr/sbin/pvefw-logger
www-data 18857  0.0  1.6 365952 134084 ?       R    00:00   0:02 pveproxy worker
www-data 18858  0.0  1.6 365544 133648 ?       S    00:00   0:02 pveproxy worker
www-data 18859  0.0  1.7 370204 138428 ?       S    00:00   0:03 pveproxy worker
www-data 18908  0.0  0.6  70748 52656 ?        S    00:00   0:01 spiceproxy worker
root     19650  0.0  0.0      0     0 ?        I    21:07   0:00 [kworker/1:2-events]
root     19796  0.0  0.0      0     0 ?        S    Jan19   0:00 [NFSv4 callback]
root     20461  0.0  0.0      0     0 ?        I    21:10   0:00 [kworker/u4:3-events_unbound]
root     20618  0.0  0.5 364344 42708 ?        S    Jan22   0:22 pvedaemon worker
root     21455  0.0  0.0      0     0 ?        I    21:14   0:00 [kworker/1:1-cgroup_destroy]
root     21706  0.0  0.0      0     0 ?        I    21:15   0:00 [kworker/0:1-events]
root     23232  0.0  0.0      0     0 ?        I    21:21   0:00 [kworker/1:3-events]
root     23275  0.0  0.0      0     0 ?        I    21:21   0:00 [kworker/u4:0-dm-thin]
root     23513  0.0  0.0      0     0 ?        I<   Jan07   0:00 [kdmflush]
100033   24058  0.0  0.0  11664  1940 ?        Ss   Jan06   2:55 /usr/sbin/lighttpd -D -f /etc/lighttpd/lighttpd.conf
100033   24087  0.0  0.0 197672  1712 ?        Ss   Jan06   0:00 /usr/bin/php-cgi
root     24659  0.0  0.0      0     0 ?        I    21:26   0:00 [kworker/u4:2]
root     24692  0.0  0.4 364300 36440 ?        Ss   21:26   0:00 task UPID:HAserver:00006074:0FAAE40A:61F6F487:vncshell::root@pam:
root     24693  0.0  0.0  95616  6632 ?        R    21:26   0:00 /usr/bin/termproxy 5900 --path /nodes/HAserver --perm Sys.Console -- /bin/login -
root     24697  0.0  0.0   6920  3496 pts/2    Ss   21:26   0:00 /bin/login -f
root     24711  0.0  0.1  21412  8768 ?        Ss   21:26   0:00 /lib/systemd/systemd --user
root     24713  0.0  0.0 172724  3276 ?        S    21:26   0:00 (sd-pam)
root     24723  0.0  0.0   7648  4480 pts/2    S    21:26   0:00 -bash
root     24771  0.0  0.0      0     0 ?        I    21:27   0:00 [kworker/0:0-events]
root     24773  0.0  0.0      0     0 ?        I    21:27   0:00 [kworker/0:3-events]
root     25017  0.0  0.0      0     0 ?        I    21:28   0:00 [kworker/1:0]
root     25538  0.0  0.0   5256   752 ?        S    21:30   0:00 sleep 60
root     25571  0.0  0.0  10912  3128 pts/2    R+   21:30   0:00 ps -aux
root     29238  0.0  0.0      0     0 ?        I<   Jan29   0:02 [kworker/u5:1-xprtiod]
root     30043  0.0  0.5 364320 42636 ?        S    Jan26   0:09 pvedaemon worker
root     30592  0.0  0.0   7372  4132 ?        Ss   Jan02   2:34 /usr/bin/lxc-start -F -n 105
root     30604  0.0  0.0      0     0 ?        S    Jan02   0:22 [kmmpd-dm-12]
root     30605  0.0  0.0      0     0 ?        S    Jan02   1:00 [jbd2/dm-12-8]
root     30606  0.0  0.0      0     0 ?        I<   Jan02   0:00 [ext4-rsv-conver]
100000   30630  0.0  0.0 170564  5564 ?        Ss   Jan02   0:18 /sbin/init
root     30735  0.0  0.0   2400  1516 ?        Ss   Jan02   0:00 /usr/bin/dtach -A /var/run/dtach/vzctlconsole105 -r winch -z lxc-console -n 105 -
root     30736  0.0  0.0   7284  3152 pts/4    Ss+  Jan02   0:00 lxc-console -n 105 -e -1
100000   30755  0.0  0.3  95612 24408 ?        Ss   Jan02   0:11 /lib/systemd/systemd-journald
100000   30781  0.0  0.0   5508   912 ?        Ss   Jan02   0:03 /usr/sbin/cron -f
100000   30783  0.0  0.0 156184   780 ?        Ssl  Jan02   0:01 /usr/sbin/rsyslogd -n -iNONE
100106   30785  0.0  0.0   9092  1884 ?        Ss   Jan02   0:06 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-a
100000   30786  0.0  0.0  19772  1684 ?        Ss   Jan02   0:03 /lib/systemd/systemd-logind
100000   30820  0.0  0.0   2744  1288 ?        Ss   Jan02   0:19 /usr/sbin/dhcpcd
100000   32344  0.0  0.0 1148644 1124 ?        Sl   Jan21   0:00 /usr/bin/docker-proxy -proto tcp -host-ip 0.0.0.0 -host-port 443 -container-ip 17
100000   32351  0.0  0.0 1148644  872 ?        Sl   Jan21   0:00 /usr/bin/docker-proxy -proto tcp -host-ip :: -host-port 443 -container-ip 172.18.
100000   32364  0.0  0.0 1148644  892 ?        Sl   Jan21   0:00 /usr/bin/docker-proxy -proto tcp -host-ip 0.0.0.0 -host-port 80 -container-ip 172
100000   32371  0.0  0.0 1075168 1124 ?        Sl   Jan21   0:00 /usr/bin/docker-proxy -proto tcp -host-ip :: -host-port 80 -container-ip 172.18.0
100000   32383  0.0  0.0 712848  3456 ?        Sl   Jan21   0:22 /usr/bin/containerd-shim-runc-v2 -namespace moby -id 3ea21adac459fd29c02784963dc5
100000   32406  0.0  0.5 798144 43060 ?        Ssl  Jan21   6:52 traefik traefik
100000   32579  0.0  0.0   2416   532 pts/1    Ss+  Jan02   0:00 /sbin/agetty -o -p -- \u --noclear --keep-baud console 115200,38400,9600 linux
100000   32580  0.0  0.0   6920   520 pts/0    Ss   Jan02   0:00 /bin/login -p --
100000   32581  0.0  0.0   2416   528 pts/1    Ss+  Jan02   0:00 /sbin/agetty -o -p -- \u --noclear --keep-baud tty2 115200,38400,9600 linux
100000   32602  0.0  0.0  15848  1148 ?        Ss   Jan02   0:00 /usr/sbin/sshd -D
100998   32604  0.0  0.0  21024  2108 ?        Ss   Jan02   0:00 /lib/systemd/systemd --user
100998   32605  0.0  0.0 104988   872 ?        S    Jan02   0:00 (sd-pam)
100000   32708  0.0  0.0 711440  3672 ?        Sl   Jan22   0:20 /usr/bin/containerd-shim-runc-v2 -namespace moby -id 621de5d4633af99bbe73503a67b0
101000   32734  0.0  0.3 820988 24556 ?        Ssl  Jan22   1:39 authelia --config /config/configuration.yml

Dus het gros door/als root. de containers die failen draaien respectievelijk docker/traefik(en authelia) en pihole. Ik zie idd dat traefik door 100000 en authelia 101000 en pihole zelfs enkele users kent (FTL bijv)

Dan blijft de vraag wat ik/waar moet aanpassen.

[ Voor 0% gewijzigd door _Dune_ op 01-02-2022 12:52 ]

[CurlyMo]

@Koepert Ik geef je wat queues om zelf op onderzoek uit te gaan. Dat ga ik niet voor je doen. Dan krijgt het teveel een helpdesk gehalte. Check je wel de output zodra de falende backups lopen?

[Koepert]

CurlyMo schreef op zondag 30 januari 2022 @ 22:01:
@Koepert Ik geef je wat queues om zelf op onderzoek uit te gaan. Dat ga ik niet voor je doen. Dan krijgt het teveel een helpdesk gehalte. Check je wel de output zodra de falende backups lopen?

Ja ik snap ook dat het hier geen helpdesk is, maar als ik geen oorzaak ken is het schieten met hagel in plaats van doelgericht zoeken. Ik heb de back-up van 1 container nu handmatig gestart en gelijktijdig (wat knap lastig is gezien hoe snel de BU failt) ps -aux gedraaid (op zowel host als in container). Alle processen met een time-stamp rondom nu worden gerund door root. Dus daar zo het niet in kunnen zitten denk ik dan. Maar ik zoek elders wel verder. Evengoed bedankt voor je tips.

[maxxie85]

@Anoniem: 664315

Ik heb hier ook een tijdje geleden last van gehad. Backups naar de Syno NAS. De VM ging goed, maar CT niet of een NFS share.
Mijn oplossing was om een SAMBA share te gebruiken i.p.v. NFS, en sindsdien lopen de backup's goed.

Ik weet nog wel dat ik de backup folders gemaakt zag worden op de NAS met NFS, maar er vervolgens geen bestanden aangemaakt werden. Voor mij was dit ook al een mysterie omdat ik het met een ouder systeem wel werkend had.

[CurlyMo]

@maxxie85 samba is inderdaad een simpele oplossing. Zolang je er maar tarballs worden overgezet. Dan blijven de rechten behouden.

[HellStorm666]

Welke host is de 'source' met die LXC backups?
Als dat een host is, die niet in de allow list staat (qua IP adres) dan gaat ie de verbinding niet toe staan, al kloppen de credentials wel.

[Koepert]

HellStorm666 schreef op maandag 31 januari 2022 @ 09:29:
Welke host is de 'source' met die LXC backups?
Als dat een host is, die niet in de allow list staat (qua IP adres) dan gaat ie de verbinding niet toe staan, al kloppen de credentials wel.

Host is mijn enige Proxmox node. Staat met IP in allow list, en Vms van dezelfde host naar dezelfde nas werken wel, maar nu getest met samba, dat werkt wel, dus voor nu opgelost.

[CurlyMo]

HellStorm666 schreef op maandag 31 januari 2022 @ 09:29:
Welke host is de 'source' met die LXC backups?
Als dat een host is, die niet in de allow list staat (qua IP adres) dan gaat ie de verbinding niet toe staan, al kloppen de credentials wel.

Dat hadden we ook al getest met een simpele touch.

[Theone098]

Te vroeg gejuicht, althans..... het probleem zit iets anders in elkaar....

Ik heb 2 proxmox nodes. Als beiden aan staan kan ik op beiden inloggen via de GUI (Linux PAM met TOTP).
Zodra ik node 2 uitzet, kan ik niet meer inloggen op node 1 via de GUI.
Als beide nodes aan staan en ik log in op node 1, zie ik alleen node 1 + VM's op node 1.
Inloggen op node 2 en ik zie beiden + VM's op beiden.

Ik heb een keer node 2 uitgezet en deze node proberen te verwijderen op node 1 met

code:

pvecm delnode <naam node2>.

Wat ik wil bereiken is dat node 2 uit het cluster wordt verwijderd en ik kan inloggen op de overgebleven node (node 1) via de GUI.

Of op z'n minst dat ik kan inloggen op node 1 en daar beide nodes kan beheren en node 2 kan uitzetten (node 2 blijft dan wel in het cluster, maar staat niet aan).

Iemand suggesties? Vooral voor het inloggen op node 1....

[ZatarraNL]

Vraagje: Moet ik gebruik maken van twee losse proxmox servers of één cluster?

Ik gebruik al een tijdje één Proxmox server (particulier/zzp gebruik). Van de data op deze server werd tot op heden altijd een offsite backup gemaakt via SSH. Deze offsite backup server was een simpele debian pc.

Deze backup server heb ik nu veranderd in een tweede proxmox server. De reden is hiervoor dat als de primaire proxmox server niet meer functioneert, ik kan terugvallen op de backup proxmox server voor VM's en LXC's.

Deze tweede off-site proxmox server is verbonden via openvn met het lokale netwerk, en daarbinnen bereikbaar met ip-adres 10.8.0.3. (interne routing via de router -> openvpn-server).

Ik twijfel nu of ik beide proxmox servers separaat houd, of dat ik hier een cluster van maak. Ik heb nooit eerder een cluster gemaakt, dus ik kan de gevolgen nog niet helemaal overzien. Het alternatief is dat ik met Rsync elke dag een backup maak van alle data en de Qemu/LXC config-files. Maar ik weet ook niet of dat makkelijk werkt.

Voordat ik beide opties ga uitproberen en testen graag jullie ervaringen. Hebben jullie antwoord op de volgende vragen?
1. Werkt een cluster over openvpn?
2. Is het makkelijker om een cluster te gebruiken dan rsync-backup?
3. Wat zouden jullie doen?
4. Zijn er belangrijke beperkingen/risico's waar ik rekening mee moet houden?

Ik heb overigens nog een 3e offline backup.

[Koepert]

Koepert schreef op maandag 31 januari 2022 @ 09:40:
[...]


Host is mijn enige Proxmox node. Staat met IP in allow list, en Vms van dezelfde host naar dezelfde nas werken wel, maar nu getest met samba, dat werkt wel, dus voor nu opgelost.

Inmiddels staat er een tweede node (iets zwaardere specs) die wil ik in eerste instantie gescheiden houden (geen cluster dus) maar wel dezelfde NFS storage (NAS ) laten delen. Kan dit zonder problemen?

De Samba share kun je aangeven "shared" maar bij NFS zie ik dit zo niet. Moet je dan dan wellicht met verschillende users doen? of kan dit zonder problemen?

[TweakMDS]

ZatarraNL schreef op donderdag 3 februari 2022 @ 11:14:
Vraagje: Moet ik gebruik maken van twee losse proxmox servers of één cluster?

Ik gebruik al een tijdje één Proxmox server (particulier/zzp gebruik). Van de data op deze server werd tot op heden altijd een offsite backup gemaakt via SSH. Deze offsite backup server was een simpele debian pc.

Deze backup server heb ik nu veranderd in een tweede proxmox server. De reden is hiervoor dat als de primaire proxmox server niet meer functioneert, ik kan terugvallen op de backup proxmox server voor VM's en LXC's.

Deze tweede off-site proxmox server is verbonden via openvn met het lokale netwerk, en daarbinnen bereikbaar met ip-adres 10.8.0.3. (interne routing via de router -> openvpn-server).

Ik twijfel nu of ik beide proxmox servers separaat houd, of dat ik hier een cluster van maak. Ik heb nooit eerder een cluster gemaakt, dus ik kan de gevolgen nog niet helemaal overzien. Het alternatief is dat ik met Rsync elke dag een backup maak van alle data en de Qemu/LXC config-files. Maar ik weet ook niet of dat makkelijk werkt.

Voordat ik beide opties ga uitproberen en testen graag jullie ervaringen. Hebben jullie antwoord op de volgende vragen?
1. Werkt een cluster over openvpn?
2. Is het makkelijker om een cluster te gebruiken dan rsync-backup?
3. Wat zouden jullie doen?
4. Zijn er belangrijke beperkingen/risico's waar ik rekening mee moet houden?

Ik heb overigens nog een 3e offline backup.

Proxmox cluster heeft voor en nadelen.
Een cluster heeft zin als je bijvoorbeeld:

• Je machines wil verhuizen tussen twee (of meer) nodes (live migrations of offline).
• Je shared storage wil opzetten.
• Je beheer (backups / users / VMs) heel graag vanaf één plek wil doen.
• Jezelf met 3 of meer nodes wil beschermen tegen uitval.

Ik heb het destijds zelf wel gedaan, en hoewel ik er niet heel veel spijt van heb, heeft het voor mij weinig toegevoegde waarde gehad, en is het eigenlijk op veel fronten meer een hinder dan een voordeel, vooral vanwege de beperkte mogelijkheden om nodes weer netjes uit een cluster te halen.
Als je het niet nodig hebt zou ik het voor de nice-to-have niet direct aanbevelen.

[ZatarraNL]

TweakMDS schreef op donderdag 3 februari 2022 @ 16:18:
[...]


Proxmox cluster heeft voor en nadelen.
Een cluster heeft zin als je bijvoorbeeld:

• Je machines wil verhuizen tussen twee (of meer) nodes (live migrations of offline).
• Je shared storage wil opzetten.
• Je beheer (backups / users / VMs) heel graag vanaf één plek wil doen.
• Jezelf met 3 of meer nodes wil beschermen tegen uitval.

Ik heb het destijds zelf wel gedaan, en hoewel ik er niet heel veel spijt van heb, heeft het voor mij weinig toegevoegde waarde gehad, en is het eigenlijk op veel fronten meer een hinder dan een voordeel, vooral vanwege de beperkte mogelijkheden om nodes weer netjes uit een cluster te halen.
Als je het niet nodig hebt zou ik het voor de nice-to-have niet direct aanbevelen.

Dank voor je ervaring. Ik neem het mee in overweging. Het dilemma weer ik nu nog mee zit is dat een handmatige rsync van de LXC config files nog niet lukt. "operation not permitted" (getest als root). Er is iets geks met de permissies van deze bestanden. Ik kan me voorstellen dat je dit soort zaken niet hebt als je tussen nodes binnen een cluster backups maakt.

Stel mijn hoofd-node valt uit binnen een cluster. Is de secundaire node dan wel bereikbaar?

[UTMachine]

ZatarraNL schreef op donderdag 3 februari 2022 @ 11:14:
...
1. Werkt een cluster over openvpn?
2. Is het makkelijker om een cluster te gebruiken dan rsync-backup?
3. Wat zouden jullie doen?
4. Zijn er belangrijke beperkingen/risico's waar ik rekening mee moet houden?

Ik heb overigens nog een 3e offline backup.

Cluster over VPN is nooit aan te raden, want de nodes in het cluster communiceren continue met elkaar. Je wilt niet de situatie krijgen dat een node de andere node niet kan zien (bv een split brain)

Ik zou voor backups gaan en die regelmatig rsync'en.

[ Voor 8% gewijzigd door UTMachine op 03-02-2022 20:48 ]

[ZatarraNL]

UTMachine schreef op donderdag 3 februari 2022 @ 20:48:
[...]


Cluster over VPN is nooit aan te raden, want de nodes in het cluster communiceren continue met elkaar. Je wilt niet de situatie krijgen dat een node de andere node niet kan zien (bv een split brain)

Ik zou voor backups gaan en die regelmatig rsync'en.

Dank. Dat is nuttige informatie. Daar vreesde ik al voor. Dan wordt het inderdaad gewoon rsync.

[powerboat]

ZatarraNL schreef op donderdag 3 februari 2022 @ 21:08:
[...]


Dank. Dat is nuttige informatie. Daar vreesde ik al voor. Dan wordt het inderdaad gewoon rsync.

cluster is wel mogelijk, je moet alleen noet HA activeren.

[ZatarraNL]

powerboat schreef op donderdag 3 februari 2022 @ 23:26:
[...]


cluster is wel mogelijk, je moet alleen noet HA activeren.

Is het vooral HA die zorgt voor een hoge belasting op de bandbreedte, en problemen geeft als er geen verbinding is?

Ik hoef geen gedeelde opslag zoals Ceph. En ook geen High Availability. Al is HA natuurlijk wel interessant. Maar als dat veel onderlinge communicatie vraagt, dan laat ik dat achterwege.

Ik moet er zeker van zijn dan als één server faalt, of de verbinding tussen de servers faalt, de andere server nog wel beschikbaar is. Kan dat met een cluster? Of loop ik risico?

[powerboat]

ZatarraNL schreef op vrijdag 4 februari 2022 @ 09:45:
[...]


Is het vooral HA die zorgt voor een hoge belasting op de bandbreedte, en problemen geeft als er geen verbinding is?

Ik hoef geen gedeelde opslag zoals Ceph. En ook geen High Availability. Al is HA natuurlijk wel interessant. Maar als dat veel onderlinge communicatie vraagt, dan laat ik dat achterwege.

Ik moet er zeker van zijn dan als één server faalt, of de verbinding tussen de servers faalt, de andere server nog wel beschikbaar is. Kan dat met een cluster? Of loop ik risico?

Ligt een beetje aan je usecase, voor centraal management is het te doen. Je moet niet gaan livemigreren of zo, dat is er bandbreedte intensief.

Je zou eventueel wel replicatie kunnen toepassen zonder HA. Of als het enkel om backup gaat de proxmox backup server op de remote locatie zetten en daar periodiek je vm naartoe backuppen. Je kan dan op de offsite locatie je backup restoren en opspinnen.

Zijn nog meer mogelijkheden 😜

[Chrisiesmit93]

Ik heb last van een "vreemd" probleem;
Thuis gebruik ik als router OPNsense gevirtualiseerd op mijn (Supermicro 5028D-TN4T) Proxmox server, echter haalt deze maar ~200-300Mbit/s MAX (zowel intern op LAN als naar buiten op mijn gigabit lijntje).

De OPNsense VM bestaat uit 4 CPU cores (draait in host modus) met 4GB memory, 1x Intel i350-AM2 in passthrough modus (hieraan zit de T-Mobile glasconverter met een glasvezel lijntje) + VirtIO trunk interface voor de diverse netwerken (vlans) die in opnsense gedefinieerd zijn.

Vanuit proxmox heb ik een lacp bond richting UniFi switch actief waarop een OVSBridge zit (die vervolgens weer connected is aan bovenstaande VirtIO trunk interface).

Doe ik een iperf test buiten de OPNsense VM om, dan gaat het redelijk snel (700-800Mbit/s), maar alles wat door de OPNsense VM moet (ook interne routering tussen de diverse netwerken/vlans), is dus zo "traag" als wat... Ook een speedtest-cli testje vanuit opnsense zelf naar buiten toe gaat met ~200-300Mbit/s.

Nu is mijn vraag; kan dit probleem mogelijk ook aan Proxmox zelf oid liggen ?
Ik heb half Google bij wijze van al doorgespit, echter overal zeggen ze, zet "hardware offloading uit", die staat hier echter al (standaard) uit in OPNsense, dus dat is het niet.

Iemand mogelijk tips/ervaring hiermee?

[nero355]

Chrisiesmit93 schreef op vrijdag 4 februari 2022 @ 13:47:
Thuis gebruik ik als router OPNsense gevirtualiseerd op mijn (Supermicro 5028D-TN4T) Proxmox server, echter haalt deze maar ~200-300Mbit/s MAX (zowel intern op LAN als naar buiten op mijn gigabit lijntje).

Vanuit proxmox heb ik een lacp bond richting UniFi switch actief waarop een OVSBridge zit (die vervolgens weer connected is aan bovenstaande VirtIO trunk interface).

LACP en UniFi Switches heeft niet zoveel nut : Geen Layer 3+4 Hashing

Doe ik een iperf test buiten de OPNsense VM om, dan gaat het redelijk snel (700-800Mbit/s)

Dat zou eigenlijk ook gewoon tussen de 930 en 960 Mbps moeten zitten...

Ook een speedtest-cli testje vanuit opnsense zelf naar buiten toe gaat met ~200-300Mbit/s.

Ik heb vroeger met heel veel klanten te maken gehad die ik moest uitleggen dat ze NIET op die manier moesten benchmarken en gewoon met iPerf3 aan de slag moesten gaan waar eigenlijk vrijwel ALTIJD de juiste snelheden uit kwamen, vooral in LACP configuraties!

Dus zoek eens wat publieke iPerf3 Servers op en ga ook eens op je eigen netwerk ermee aan de slag!

Nu is mijn vraag; kan dit probleem mogelijk ook aan Proxmox zelf oid liggen ?

Iemand mogelijk tips/ervaring hiermee?

Waar ik ook nog aan zit te denken : Heb je ooit de Intel NIC eens goed getest

Als je pech hebt is het een namaak model, vooral als de eBay verkoper ineens toch niet zo betrouwbaar blijkt te zijn...

[orvintax]

ZatarraNL schreef op vrijdag 4 februari 2022 @ 09:45:
[...]


Is het vooral HA die zorgt voor een hoge belasting op de bandbreedte, en problemen geeft als er geen verbinding is?

Ik hoef geen gedeelde opslag zoals Ceph. En ook geen High Availability. Al is HA natuurlijk wel interessant. Maar als dat veel onderlinge communicatie vraagt, dan laat ik dat achterwege.

Ik moet er zeker van zijn dan als één server faalt, of de verbinding tussen de servers faalt, de andere server nog wel beschikbaar is. Kan dat met een cluster? Of loop ik risico?

Dat kan zeker want je kunt gewoon naar het IP adres navigeren van de andere node en daarop inloggen.

[UTMachine]

ZatarraNL schreef op vrijdag 4 februari 2022 @ 09:45:
[...]


Is het vooral HA die zorgt voor een hoge belasting op de bandbreedte, en problemen geeft als er geen verbinding is?

Ik hoef geen gedeelde opslag zoals Ceph. En ook geen High Availability. Al is HA natuurlijk wel interessant. Maar als dat veel onderlinge communicatie vraagt, dan laat ik dat achterwege.

Ik moet er zeker van zijn dan als één server faalt, of de verbinding tussen de servers faalt, de andere server nog wel beschikbaar is. Kan dat met een cluster? Of loop ik risico?

Als je geen Ceph of High Availability wilt, dan is een cluster bouwen niet interessant (zit je meer in de weg). Live migratie wil je ook niet via een VPN connectie doen (backup+rsync+restore is sneller en betrouwbaarder).

Ik denk dat je je use-cases een beetje moet uitschrijven, want een cluster is niet iets magisch iets en heeft voor- en nadelen. Grote kans dat bij 1 voordeel 2 nadelen zijn in jouw situatie.

[ Voor 10% gewijzigd door UTMachine op 04-02-2022 14:49 ]

[Chrisiesmit93]

nero355 schreef op vrijdag 4 februari 2022 @ 13:57:
[...]

LACP en UniFi Switches heeft niet zoveel nut : Geen Layer 3+4 Hashing


[...]

Dat zou eigenlijk ook gewoon tussen de 930 en 960 Mbps moeten zitten...


[...]

Ik heb vroeger met heel veel klanten te maken gehad die ik moest uitleggen dat ze NIET op die manier moesten benchmarken en gewoon met iPerf3 aan de slag moesten gaan waar eigenlijk vrijwel ALTIJD de juiste snelheden uit kwamen, vooral in LACP configuraties!

Dus zoek eens wat publieke iPerf3 Servers op en ga ook eens op je eigen netwerk ermee aan de slag!


[...]

Waar ik ook nog aan zit te denken : Heb je ooit de Intel NIC eens goed getest

Als je pech hebt is het een namaak model, vooral als de eBay verkoper ineens toch niet zo betrouwbaar blijkt te zijn...

Thanks @nero355
Op het gebied van LACP en UniFi, als het goed is moeten 2 losse clients (pc's) elk wel 1 gigabit naar 2 verschillende "dingen" binnen Proxmox dicht kunnen trekken met deze setup?
Ik ben mij bewust dat het met 1 client niets opschiet, maar als ik met 1 pc de internetverbinding volledig dichttrek (met bijv. speedtest / iperf oid via de OPNsense VM) en dan met een andere pc met 1 gigabit een bestand vanaf/op de file server (op proxmox) zet, dan moet dit kunnen toch, of begrijp ik het dan verkeerd ?

Qua snelheid (~700-800Mbit/s) die een beetje achterliep, no idea, dit moet ik nog onderzoeken

Thanks voor je feedback omtrent de iperf "speedtest", dit zal ik zeker oppakken!

De Intel NIC zou goed mijn zijn (ik weet het, aanname...), dit omdat het een Supermicro ("enterprise") server betreft, niet bij elkaar gekocht zootje van bijvoorbeeld marktplaats/ebay/aliexpress oid.

De OPNsense is er net volledig uitgeklapt (zeer trage verbinding, packet loss, ping van 2000-3000ms op alle interfaces)
Heb zodoende de t-mobile router er weer tussen gedrukt en de server volledig buiten spel gezet (aangezien ik en vriendin gewoon thuiswerken + er iemand hier not amused was).

Later vandaag / dit weekend maar eens verder troubleshooten waar deze problemen vandaan komen :#

[nero355]

Chrisiesmit93 schreef op vrijdag 4 februari 2022 @ 15:07:
Op het gebied van LACP en UniFi, als het goed is moeten 2 losse clients (pc's) elk wel 1 gigabit naar 2 verschillende "dingen" binnen Proxmox dicht kunnen trekken met deze setup?
Ik ben mij bewust dat het met 1 client niets opschiet, maar als ik met 1 pc de internetverbinding volledig dichttrek (met bijv. speedtest / iperf oid via de OPNsense VM) en dan met een andere pc met 1 gigabit een bestand vanaf/op de file server (op proxmox) zet, dan moet dit kunnen toch, of begrijp ik het dan verkeerd ?

Als het goed is wel inderdaad!

[HellStorm666]

Ok, wat zoek en configureer werk verder.

Heb de volgende hardware in gedachten. wat is jullie opmerking hierover?

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Epyc 7272 Tray	€ 725,40	€ 725,40
1	Moederborden	Supermicro H12SSL-C	€ 775,06	€ 775,06
2	Interne harde schijven	Seagate Exos X16 SATA (Standard model), 14TB	€ 254,10	€ 508,20
2	Interne harde schijven	Toshiba MG07ACA14TE (512e), 14TB	€ 239,90	€ 479,80
2	Interne harde schijven	Toshiba MG08 SATA (512e), 14TB	€ 238,25	€ 476,50
1	Controllers	Dell PERC H200	€ 48,34	€ 48,34
1	Behuizingen	Fantec SRC-3168X07	€ 0,-	€ 0,-
4	Geheugen intern	Micron MTA18ASF4G72PDZ-3G2E1	€ 179,29	€ 717,16
4	Geheugen intern	Micron MTA36ASF4G72PZ-3G2J3	€ 179,29	€ 717,16
1	Voedingen	Seasonic Prime TX-850	€ 249,-	€ 249,-
2	Solid state drives	Gigabyte AORUS NVMe Gen4 SSD 2TB	€ 247,-	€ 494,-
			Totaal	€ 5.190,62

Uitleg:
2x Gigabyte NVMe in RAID1 op t moederbord.
Hierop komt zowel Proxmox als de OS installaties van de VM's en LXC's.
Met een 3,6PB aan TBW moet die wel lang goed gaan, zo niet, dan is ie ook nog in mirror.

Micron geheugen, een van beide sets wordt gekocht, weet nog niet of ik de 18die of de 36die versie moet hebben.

HDD's, alle 6 komen ze in ZFS RAIDz2. Door 3 verschillende types te nemen verklein ik de kans op een slechte batch die meer dan 2 foute disks geeft.
Vermoedelijk komen ze (ik vermoed vanaf de H200) in passtrough naar Truenas Core welke er een RAIDz2 van maakt en ze vervolgens via NFS en/of SMB beschikbaar stelt aan de andere VM's en LXC's. (Of is er een goede reden dit toch op Proxmox zelf te doen ipv op Truenas?)

Seasonic Prime TX want 80-plus Titanium.
850W zou toch genoeg moeten zijn? (in gedachten houden dat er mogelijk ooit nog eens 4 tot 6 disks bij komen).

L2ARC en SLOG pas ik niet toe, tenzij blijkt dat ik performance problemen krijg. (of zal ik die toch toe moeten voegen? zo ja, NVMe of SATA SSD?)


Als side-note. Ik twijfel nog even of ik m'n Untangle server ook ga verplaatsen naar Proxmox of dat ik deze op dedicated hardware hou (Intel G4500 met 8GB RAM)

[RobertMe]

HellStorm666 schreef op dinsdag 8 februari 2022 @ 15:32:
2x Gigabyte NVMe in RAID1 op t moederbord.
Hierop komt zowel Proxmox als de OS installaties van de VM's en LXC's.
Met een 3,6PB aan TBW moet die wel lang goed gaan, zo niet, dan is ie ook nog in mirror.

Als je ze in mirror zet dan schrijven ze ook identiek de data weg. Dus als de een zijn TBW bereikt doet de ander dat ook. Grote kans dus dat ze kort na elkaar zullen uitvallen. Hetzelfde als bij de schijven zou ik dan ook twee verschillende SSDs nemen of met één beginnen en later een bijplaatsen.

[Zenix]

Even geen kernel updaten: https://www.reddit.com/r/..._kernel_513194pve_update/ je kan dit wel oplossen door een andere kernel te booten.

Edit, lijkt gefixed te zijn, maar toch wel even opletten nog

[ Voor 33% gewijzigd door Zenix op 08-02-2022 19:49 ]

[nero355]

HellStorm666 schreef op dinsdag 8 februari 2022 @ 15:32:
pricewatch: Dell PERC H200

Vermoedelijk komen ze (ik vermoed vanaf de H200) in passtrough naar Truenas Core

Waarom überhaupt die DELL H200 erbij

Heb je die al in gebruik ??

DELL hardware in non-DELL systemen moet je vaak aftapen om geen rare problemen ermee te krijgen namelijk dus mocht je die nog niet hebben : Kijk eens naar een echte LSI HBA of bijvoorbeeld een HPE H220 die gewoon 100% naar een LSI om te flashen is en eigenlijk zelfs zo werkt!

Verder kan je natuurlijk ook het een en ander dat je OnBoard hebt gewoon via Passthrough doorzetten naar een VM

Maar...

AMD en Passthrough schijnt nog niet altijd even geweldig te werken dus kijk toch eens naar een Intel systeem!


Voor een fatsoenlijke voeding zou ik hier effe rondneuzen : Voeding advies en informatie topic - Deel 34

SeaSonic is namelijk niet meer wat het ooit is geweest wat betreft het een en ander...

[ Voor 5% gewijzigd door nero355 op 08-02-2022 19:47 ]

[HellStorm666]

nero355 schreef op dinsdag 8 februari 2022 @ 19:44:
[...]

Waarom überhaupt die DELL H200 erbij

Heb je die al in gebruik ??

DELL hardware in non-DELL systemen moet je vaak aftapen om geen rare problemen ermee te krijgen namelijk dus mocht je die nog niet hebben : Kijk eens naar een echte LSI HBA of bijvoorbeeld een HPE H220 die gewoon 100% naar een LSI om te flashen is en eigenlijk zelfs zo werkt!

Verder kan je natuurlijk ook het een en ander dat je OnBoard hebt gewoon via Passthrough doorzetten naar een VM

Maar...

AMD en Passthrough schijnt nog niet altijd even geweldig te werken dus kijk toch eens naar een Intel systeem!


Voor een fatsoenlijke voeding zou ik hier effe rondneuzen : Voeding advies en informatie topic - Deel 34

SeaSonic is namelijk niet meer wat het ooit is geweest wat betreft het een en ander...

Die PercH200 heb ik nog liggen.
In eerste instantie wil ik de 2 onboard miniSAS aansluitingen gaan gebruiken (Broadcom 3008) met een SFF-8087 naar SFF-8643 kabel (2st) waarmee ik al 8x SATA kan gebruiken.

Dat stuk over de voeding zal ik even lezen.
Meende juist dat Seasonic zo goed was.
Is 850W wel ok, of moet ik meer of minder doen?

[nero355]

HellStorm666 schreef op dinsdag 8 februari 2022 @ 20:07:
Is 850W wel ok, of moet ik meer of minder doen?

Zoiets ligt ook in een HP DL380 G8/G9/enz. dus dat lijkt me niet verkeerd voor een dergelijke bak!

[TweakerVincent]

Damn problemen, ik heb mijn ziggo router gewijzigd naar een gigabit ding en nu kom ik web GUI proxmox niet meer in SSH lukt wel.

ww reset werkt niet, browser cache clear niet.

Wat nu?

yes gevonden, mijn cluster deed moeilijk na de reset. node 2 aan gezet en het werkt. Mss handig voor iemand anders

[ Voor 39% gewijzigd door TweakerVincent op 08-02-2022 23:08 ]

[nero355]

@TweakerVincent
Wat hebben die twee met elkaar te maken

Daarnaast heb je SSH toegang dus kan je altijd nog alles fixen zonder enig probleem!

[_Eend_]

@TweakerVincent voor jou te laat misschien, maar voor 'future reference' misschien handig:

systemctl restart pveproxy.service

Ik heb ook zoiets gehad een tijdje terug.. Door pveproxy een schop te geven kon ik er weer bij.

[ZatarraNL]

Vraagje, al weet ik niet zeker of dit het juiste topic is.
Ik heb een tweetal proxmox servers die een vaste openvpn verbinding met elkaar hebben. De ene op mijn thuiskantoor (server), de ander op mijn uit-kantoor (client). So far so good.

Gisteren verbrak opeens de verbinding tussen beide apparaten. Ik vraag me af waarom. Misschien dat jullie hier meer inzicht in hebben.

Dit is wat ik weet:
- Alles werkte tenminste een week lang prima (destijds deze verbinding opgezet).
- De host: ik kan gewoon via andere apparaten verbinding maken met de server. Deze werkt dus gewoon. Ook de host is gewoon via het domein te bereiken.
- De client probeert continu verbinding te maken met de host met resolv-retry infinite, maar kan het domein niet bereiken: "RESOLVE: Cannot resolve host address".
- De client: /etc/resolve.conf geeft gewoon een DNS-server weer, namelijk 8.8.8.8
- De client zit op de juiste VLAN
- De client heeft de juiste gateway toegewezen
- De client is gewoon bereikbaar via het interne VLAN netwerk
- De client heeft geen enkele internetverbinding meer. Interne ip-adressen op dezelfde VLAN kan ik pingen, maar alle internetadressen, zoals 1.1.1.1 of 8.8.8.8, zijn onbereikbaar,
- Andere apparaten op hetzelfde interne netwerk van de client (VLAN) hebben wel internet, met dezelfde gateway.
- Ik heb geen invloed op de VLAN of gateway van het interne netwerk van de client, aangezien de verbinding onderdeel is van een bedrijfsverzamelgebouw.
- Na een restart van de client wordt weer automatisch verbinding gemaakt met internet en de openvpn-server.

Conclusie: om één of andere reden is de internetverbinding van de client verbroken. Ik kan niet achterhalen hoe dat komt. Hebben jullie ideeen?

Wat ik wil bereiken:
- Ik wil een continue internetverbinding met een betrouwbare vpn-verbinding. Ik ben namelijk niet altijd op mijn uit-kantoor aanwezig om e.e.a. op te lossen. Desnoods een automatische restart van de netwerk-interfaces als de verbinding is verbroken. Heeft Proxmox iets handigs ingebakken? Kan ik hier ifupdown2 voor gebruiken?

Mogelijke oorzaken:
1. De firewall van het uit-kantoor heeft besloten mijn server af te sluiten (niet logisch).
2. Het netwerk van het uit-kantoor heeft onderhoud/een restart gehad, waarbij één of andere instelling is gewijzigd... Maar welke? Hoe kom ik daar achter, en hoe voorkom ik het in de toekomst?
3. De actieve openvpn-client-service, die elke 5min probeert de verbinding te herstellen, gooit mogelijk roet in het eten.
4. Heb ik iets over het hoofd gezien?

Edit: na een restart van de client-proxmox werkt alles weer automatisch, dus die verwachting klopt. Nu nog achterhalen hoe ik dit in de toekomst kan voorkomen of automatiseren.

[ Voor 8% gewijzigd door ZatarraNL op 14-02-2022 10:39 ]

[nero355]

ZatarraNL schreef op maandag 14 februari 2022 @ 09:34:
Ik heb een tweetal proxmox servers die een vaste openvpn verbinding met elkaar hebben. De ene op mijn thuiskantoor (server), de ander op mijn uit-kantoor (client). So far so good.

Gisteren verbrak opeens de verbinding tussen beide apparaten. Ik vraag me af waarom. Misschien dat jullie hier meer inzicht in hebben.

Dit is wat ik weet:
- De client probeert continu verbinding te maken met de host met resolv-retry infinite, maar kan het domein niet bereiken: "RESOLVE: Cannot resolve host address".
- De client: /etc/resolve.conf geeft gewoon een DNS-server weer, namelijk 8.8.8.8

Misschien moet je overwegen om via /etc/hosts het een en ander daaraan te beïnvloeden dan

- De client heeft geen enkele internetverbinding meer. Interne ip-adressen op dezelfde VLAN kan ik pingen, maar alle internetadressen, zoals 1.1.1.1 of 8.8.8.8, zijn onbereikbaar,

En dat wil je wel of juist niet

- Ik heb geen invloed op de VLAN of gateway van het interne netwerk van de client, aangezien de verbinding onderdeel is van een bedrijfsverzamelgebouw.

Dus je gaat een aantal keer door een NAT/Firewall heen ?!

Dan zou je de Hello en Dead Time aan moeten passen om de VPN in leven te houden

/Zomaar wat brainfarts...

[Robbie T]

Ik snap niet goed wat er mis gaat.
Ik heb momenteel 3 VM's draaien zonder problemen. Ik wil nu graag een container draaien.
Ik start deze container en kies de gewenste template. Bij Network kies ik bij ip4 voor dhcp en ook bij ipv6.
name = eth0
mac = auto
brdige = vmbr0, de enige optie die ik heb.

Ik start vervolgens de container en probeer via de console een ping te doen maar krijg met geen mogelijkheid internet. Wat mis ik?

[ntiender]

Hi,

Momenteel heb ik 1 proxmox server draaien, met twee SSD's in mirror.
I3 8100 processor, 32GB ECC ram

Ik heb nog een set liggen met vrijwel identieke moederbord, i3 9100 processor, 32GB ECC ram. Hier ga ik een tweede server van maken.

Na e.e.a. te hebben gelezen, wil ik hier denk ik nog een derde server gaan bouwen en een CEPH cluster maken.

Dan kan mijn NAS ook de deur uit en wil ik alles op deze PC's integreren.

In iedere server plaats ik dan een 10Gbit netwerkkaart voor CEPH.

Maar qua opslag, heb ik in iedere server dan nog een raid-mirror opstelling nodig? Het lijkt mij niet. Gewoon 1SSD voor de VM's en 1 HDD voor opslag in iedere server lijkt mij wel voldoende en veilig genoeg. Kan iemand dat bevestigen?

[orvintax]

@ntiender

Maar qua opslag, heb ik in iedere server dan nog een raid-mirror opstelling nodig? Het lijkt mij niet. Gewoon 1SSD voor de VM's en 1 HDD voor opslag in iedere server lijkt mij wel voldoende en veilig genoeg. Kan iemand dat bevestigen?

Nee je moet de disks direct aan ceph geven en ze daardoor laten beheren. Verder zou ik als ik jou was wel even inlezen in ceph dan weet je ook meteen of het "veilig genoeg is" want dat is natuurlijk een relatief begrip.

[orvintax]

@Robbie T

Ik start vervolgens de container en probeer via de console een ping te doen maar krijg met geen mogelijkheid internet. Wat mis ik?

Wat bedoel je precies met "geen internet"? Lukt het wel om je router te pingen of uberhaupt een DHCP lease te krijgen?

[Polyphemus]

Gekke vraag misschien, maar houdt iemand hier het elektra-verbruik van zijn Proxmox-server bij?

Ik heb nu een Ryzen 5600G (niet de zuinigste keuze uiteraard) en zit met 20 containers en 5 VM's op zo'n 45W idle. Ben benieuwd hoe jullie dat ervaren

[orvintax]

Polyphemus schreef op woensdag 16 februari 2022 @ 16:40:
Gekke vraag misschien, maar houdt iemand hier het elektra-verbruik van zijn Proxmox-server bij?

Ik heb nu een Ryzen 5600G (niet de zuinigste keuze uiteraard) en zit met 20 containers en 5 VM's op zo'n 45W idle. Ben benieuwd hoe jullie dat ervaren

Heb zelf een "oude" Dell PowerEdge T320 met een Intel Xeon E5-2620 V2 en idle rond de 80 Watt. Heb 10 containers en 2 VMs maar CPU gebruik is gemiddeld zo een 6 procent.

Voor de rest heb ik 32GB RAM in mijn systeem, 2 sata SSDs en 4 HDDs.

[nero355]

Polyphemus schreef op woensdag 16 februari 2022 @ 16:40:
Gekke vraag misschien, maar houdt iemand hier het elektra-verbruik van zijn Proxmox-server bij?

Ik heb nu een Ryzen 5600G (niet de zuinigste keuze uiteraard) en zit met 20 containers en 5 VM's op zo'n 45W idle. Ben benieuwd hoe jullie dat ervaren

Die van mij staat alleen af en toe aan om wat te testen dus het verbruik is niet echt boeiend

Wat ik wel vrij zeker weet is dat je niet bij AMD moet zijn als je in volledige IDLE stand een laag verbruik wilt hebben, want Intel doet dat nog steeds beter, echter kunnen die weer heel onzuinig zijn onder volledige belasting en hoe erg dat weer is wordt bepaald door de instellingen die in je BIOS/UEFI actief zijn!

Dus de vraag is eigenlijk : Wat zie jij als IDLE in dit geval ??

[Polyphemus]

nero355 schreef op woensdag 16 februari 2022 @ 17:43:
[...]

Die van mij staat alleen af en toe aan om wat te testen dus het verbruik is niet echt boeiend

Wat ik wel vrij zeker weet is dat je niet bij AMD moet zijn als je in volledige IDLE stand een laag verbruik wilt hebben, want Intel doet dat nog steeds beter, echter kunnen die weer heel onzuinig zijn onder volledige belasting en hoe erg dat weer is wordt bepaald door de instellingen die in je BIOS/UEFI actief zijn!

Dus de vraag is eigenlijk : Wat zie jij als IDLE in dit geval ??

Als idle zie ik net na de boot, als het stof is neergedwarreld

[Deshmir]

@Robbie T wat zegt je ifconfig? Krijg je wel een ip uit je dhcp scope?
Krijg je ook het juiste dns adres mee (overnemen van host bijv)?

[ZatarraNL]

nero355 schreef op maandag 14 februari 2022 @ 20:02:
Misschien moet je overwegen om via /etc/hosts het een en ander daaraan te beïnvloeden dan

Deze is up to date. Dus dat kan het niet zijn.

En dat wil je wel of juist niet

Uiteraard wil ik wel graag internet. Dit betekent dat de VPN niet werkt vanwege het ontbreken van een internetverbinding.

Dus je gaat een aantal keer door een NAT/Firewall heen ?!

Correct.

Dan zou je de Hello en Dead Time aan moeten passen om de VPN in leven te houden

Ben ik niet bekend mee. Ik zal eens googlen. Nog tips?

[Polyphemus]

orvintax schreef op woensdag 16 februari 2022 @ 16:49:
[...]

Heb zelf een "oude" Dell PowerEdge T320 met een Intel Xeon E5-2620 V2 en idle rond de 80 Watt. Heb 10 containers en 2 VMs maar CPU gebruik is gemiddeld zo een 6 procent.

Voor de rest heb ik 32GB RAM in mijn systeem, 2 sata SSDs en 4 HDDs.

Ik heb de cpu governor op "powersave" gezet voor de grap, en dat scheelt meteen 20W in het verbruik

[ZatarraNL]

Polyphemus schreef op woensdag 16 februari 2022 @ 16:40:
Gekke vraag misschien, maar houdt iemand hier het elektra-verbruik van zijn Proxmox-server bij?

Ik heb nu een Ryzen 5600G (niet de zuinigste keuze uiteraard) en zit met 20 containers en 5 VM's op zo'n 45W idle. Ben benieuwd hoe jullie dat ervaren

Ik heb een Proxmox server met een 5800x en 6 harde schijven, en twee ssd's. Idle vermogen is 80W. Draait 24/7 1 vm en 10 containers. Het is me nog niet gelukt dit verbruik te verlagen.

Als ik een Windows 10 vm laat draaien gaat het Idle verbruik aanzienlijk omhoog.

[ Voor 7% gewijzigd door ZatarraNL op 16-02-2022 22:18 ]

[Polyphemus]

ZatarraNL schreef op woensdag 16 februari 2022 @ 22:16:
[...]


Ik heb een Proxmox server met een 5800x en 6 harde schijven, en twee ssd's. Idle vermogen is 80W. Draait 24/7 1 vm en 10 containers. Het is me nog niet gelukt dit verbruik te verlagen.

Als ik een Windows 10 vm laat draaien gaat het Idle verbruik aanzienlijk omhoog.

Zie mijn post boven die van jou

[ZatarraNL]

Polyphemus schreef op woensdag 16 februari 2022 @ 22:23:
[...]

Zie mijn post boven die van jou

Ga ik zeker doen. Maar zo uit mijn hoofd meen ik dat dit al is ingesteld. Wordt vervolgd.

[Robbie T]

Deshmir schreef op woensdag 16 februari 2022 @ 18:46:
@Robbie T wat zegt je ifconfig? Krijg je wel een ip uit je dhcp scope?
Krijg je ook het juiste dns adres mee (overnemen van host bijv)?

orvintax schreef op woensdag 16 februari 2022 @ 16:35:
@Robbie T

[...]

Wat bedoel je precies met "geen internet"? Lukt het wel om je router te pingen of uberhaupt een DHCP lease te krijgen?

Het probleem leek bij de Arch Linux template te liggen. Heb een Debian gepakt en die werkt wel zonder problemen. Als ik een ifconfig deed bij Arch Linux kreeg ik iets als command not found.

[nero355]

ZatarraNL schreef op woensdag 16 februari 2022 @ 19:07:
Deze is up to date. Dus dat kan het niet zijn.

Wat bedoel je daarmee precies

Ben ik niet bekend mee. Ik zal eens googlen. Nog tips?

Zorgt ervoor dat de verbinding in leven wordt gehouden dus een soort "Keep alive pings" als het ware!

Robbie T schreef op woensdag 16 februari 2022 @ 22:54:
Als ik een ifconfig deed bij Arch Linux kreeg ik iets als command not found.

Die is dan ook deprecated en alles is over naar IP min of meer : https://linux.die.net/man/8/ip