Het grote Proxmox VE topic

[Cardinal]

@stormfly Heb jij toevallig ook geprobeerd om:

• Te downgraden naar 9.4?
• Switchen naar linux+docker?

Zit niet echt te wachten om weer een HA docker supervisor versie te draaien. Daar werd ik gek van alle "je draait een illegale versie" meldingen, maar heb ook het liefste een stabiele versie.

Ik begrijp van alle links dat een andere linux versie + settings niet gaat werken en HAOS 10 nog te instabiel is.

[ Voor 15% gewijzigd door Cardinal op 22-03-2023 13:27 ]

[marcel19]

@Cardinal

Ik heb het zo gedaan: https://www.wundertech.ne...ome-assistant-on-proxmox/
En dan de automated install. 1x een script in je shell draaien en je vm spint op.

Maak een backup van je huidige HA, start de VM op, plaats de back-up terug en je bent weer up and running.


Ik draai HA al jaren zo op die manier en dat werkt PERFECT.
Zelfs vrienden van mij draaien het zo op die manier in Proxmox. Geen enkele problemen

[stormfly]

Cardinal schreef op woensdag 22 maart 2023 @ 13:26:
@stormfly Heb jij toevallig ook geprobeerd om:

• Te downgraden naar 9.4?
• Switchen naar linux+docker?

Zit niet echt te wachten om weer een HA docker supervisor versie te draaien. Daar werd ik gek van alle "je draait een illegale versie" meldingen, maar heb ook het liefste een stabiele versie.

Ik begrijp van alle links dat een andere linux versie + settings niet gaat werken en HAOS 10 nog te instabiel is.

Nee ik heb mijn oude intel NUC (i3) gestart daar de proxmox VM's naar verplaatst. En de N5105 als baremetal pfSense router geïnstalleerd. Erg stabiel en alles draait nu weken achter elkaar.

[orvintax]

marcel19 schreef op woensdag 22 maart 2023 @ 11:50:
Ik ben op dit moment bezig met het automatiseren van de back-up van mijn VM's in mijn Proxmox.

Wat ik heb gedaan:

Ik heb een Openmediavault VM draaien, daarin heb ik de Onedrive plugin geïnstalleerd. (want ik wil mijn back-up gesyncd hebben naar mijn Onedrive)
Daarna heb ik een folder aangemaakt, deze in de shared folder gezet van SMB en daarna weer gekoppeld in Proxmox.
So far so good.

Nu, als ik een back-up wil maken (Van dus ook de Openmediavault VM) krijg ik een error omdat natuurlijk die VM van Openmediavault gepauzeerd wordt. Dus is de SMB share niet meer beschikbaar.

Enig idee?

Zoals @zeroday aangeeft is dat niet mogelijk. Waarom heb je trouwens voor SMB gekozen?

[marcel19]

orvintax schreef op woensdag 22 maart 2023 @ 13:45:
[...]

Zoals @zeroday aangeeft is dat niet mogelijk. Waarom heb je trouwens voor SMB gekozen?

SMB NFS beide geprobeerd. maar zonder succes,

Ik heb ook nog geprobeerd om met Rclone te werken bovenop proxmox zelf, alleen dan wordt de gehele onedrive folder gesyncd en dat is nou ook weer niet de bedoeling.

Ik wil gewoon mijn vm's ergens naar back-uppen. En een externe HDD vind ik geen back-up aangezien die ook kan crashen.

[orvintax]

marcel19 schreef op woensdag 22 maart 2023 @ 13:50:
[...]


SMB NFS beide geprobeerd. maar zonder succes,

Ik heb ook nog geprobeerd om met Rclone te werken bovenop proxmox zelf, alleen dan wordt de gehele onedrive folder gesyncd en dat is nou ook weer niet de bedoeling.

Ik wil gewoon mijn vm's ergens naar back-uppen. En een externe HDD vind ik geen back-up aangezien die ook kan crashen.

Je zou, en zo deed ik dat toen ik een vergelijkbare setup had, niet de OMV VM backuppen maar binnen OMV de configuratie backuppen naar je OneDrive folder. Het is misschien niet zo een handige backup als een volledige VM die je kunt restoren. Maar het is wel een backup

[marcel19]

orvintax schreef op woensdag 22 maart 2023 @ 13:54:
[...]

Je zou, en zo deed ik dat toen ik een vergelijkbare setup had, niet de OMV VM backuppen maar binnen OMV de configuratie backuppen naar je OneDrive folder. Het is misschien niet zo een handige backup als een volledige VM die je kunt restoren. Maar het is wel een backup

Dat is niet echt de oplossing die ik zoek.
Misschien dan maar een tweede OMV ernaast bouwen voor puur de back-ups naar Onedrive

[zeroday]

marcel19 schreef op woensdag 22 maart 2023 @ 13:50:
[...]


SMB NFS beide geprobeerd. maar zonder succes,

Ik heb ook nog geprobeerd om met Rclone te werken bovenop proxmox zelf, alleen dan wordt de gehele onedrive folder gesyncd en dat is nou ook weer niet de bedoeling.

Ik wil gewoon mijn vm's ergens naar back-uppen. En een externe HDD vind ik geen back-up aangezien die ook kan crashen.

Als je PBS gebruikt heb je nog een andere uitdaging want die werkt met Chunks en niet zozeer met een compleet bestand van de VM. Ikzelf heb het volgende gedaan

De backups van PBS gaan naar een 1TB Virtuele Disk onder PBS, en daarnaast heb ik een sync opgezet naar een NAS drive waar alles van de backup gesynced wordt. Nadeel: het zijn chunks dus heel veel bestanden en je moet de rechten goed hebben want daar is PBS freaky mee.

je zou wellicht ook eens naar VEEAM kunnen kijken
https://forums.veeam.com/...ps-with-veeam-t66702.html


Wat volgens mij wel kan is dat je VM met als backup niet via PBS maar local backupped
hier gaat alles nog goed als test.

INFO: starting new backup job: vzdump 109 --mode snapshot --compress zstd --notes-template '{{guestname}}' --node proxmox --remove 0 --storage local
INFO: Starting Backup of VM 109 (qemu)
INFO: Backup started at 2023-03-22 14:02:18
INFO: status = running
INFO: VM Name: pbs.aroundtheworld.net
INFO: include disk 'scsi0' 'ZFS-Backup:vm-109-disk-0' 1000G
INFO: include disk 'efidisk0' 'ZFS-Backup:vm-109-disk-1' 1M
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating vzdump archive '/var/lib/vz/dump/vzdump-qemu-109-2023_03_22-14_02_18.vma.zst'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task '75c60058-2e94-4ccc-8e8e-93213ee6090b'
INFO: resuming VM again
INFO: 0% (537.1 MiB of 1000.0 GiB) in 3s, read: 179.0 MiB/s, write: 7.5 MiB/s
INFO: 1% (10.0 GiB of 1000.0 GiB) in 3m 49s, read: 43.0 MiB/s, write: 32.9 MiB/s
INFO: 2% (20.0 GiB of 1000.0 GiB) in 9m 47s, read: 28.6 MiB/s, write: 28.1 MiB/s
INFO: 3% (30.0 GiB of 1000.0 GiB) in 16m, read: 27.5 MiB/s, write: 27.1 MiB/s
INFO: 4% (40.0 GiB of 1000.0 GiB) in 20m 54s, read: 34.7 MiB/s, write: 34.2 MiB/s

[ Voor 37% gewijzigd door zeroday op 22-03-2023 14:25 ]

[Cardinal]

marcel19 schreef op woensdag 22 maart 2023 @ 13:34:
@Cardinal
Ik heb het zo gedaan: https://www.wundertech.ne...ome-assistant-on-proxmox/
En dan de automated install. 1x een script in je shell draaien en je vm spint op.

@marcel19 Helaas gaat het niet om de methode van installatie, maar om issues tussen CPU en HAOS/kernel.
op de pagina van wundertech vind je onderaan de manual installatie waar ik eerder aan refereerde.

[marcel19]

zeroday schreef op woensdag 22 maart 2023 @ 14:01:
[...]


Als je PBS gebruikt heb je nog een andere uitdaging want die werkt met Chunks en niet zozeer met een compleet bestand van de VM. Ikzelf heb het volgende gedaan

De backups van PBS gaan naar een 1TB Virtuele Disk onder PBS, en daarnaast heb ik een sync opgezet naar een NAS drive waar alles van de backup gesynced wordt. Nadeel: het zijn chunks dus heel veel bestanden en je moet de rechten goed hebben want daar is PBS freaky mee.

je zou wellicht ook eens naar VEEAM kunnen kijken
https://forums.veeam.com/...ps-with-veeam-t66702.html


Wat volgens mij wel kan is dat je VM met als backup niet via PBS maar local backupped
hier gaat alles nog goed als test.

INFO: starting new backup job: vzdump 109 --mode snapshot --compress zstd --notes-template '{{guestname}}' --node proxmox --remove 0 --storage local
INFO: Starting Backup of VM 109 (qemu)
INFO: Backup started at 2023-03-22 14:02:18
INFO: status = running
INFO: VM Name: pbs.aroundtheworld.net
INFO: include disk 'scsi0' 'ZFS-Backup:vm-109-disk-0' 1000G
INFO: include disk 'efidisk0' 'ZFS-Backup:vm-109-disk-1' 1M
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating vzdump archive '/var/lib/vz/dump/vzdump-qemu-109-2023_03_22-14_02_18.vma.zst'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task '75c60058-2e94-4ccc-8e8e-93213ee6090b'
INFO: resuming VM again
INFO: 0% (537.1 MiB of 1000.0 GiB) in 3s, read: 179.0 MiB/s, write: 7.5 MiB/s
INFO: 1% (10.0 GiB of 1000.0 GiB) in 3m 49s, read: 43.0 MiB/s, write: 32.9 MiB/s
INFO: 2% (20.0 GiB of 1000.0 GiB) in 9m 47s, read: 28.6 MiB/s, write: 28.1 MiB/s
INFO: 3% (30.0 GiB of 1000.0 GiB) in 16m, read: 27.5 MiB/s, write: 27.1 MiB/s
INFO: 4% (40.0 GiB of 1000.0 GiB) in 20m 54s, read: 34.7 MiB/s, write: 34.2 MiB/s

Hier nu ook

Heb een Xpenology server gemaakt, Cloudsync geinstaleerd in Xpenology.
En nu back-up draaien van mijn vm's gaat als een zonnetje zonder problemen.

code:

INFO: creating vzdump archive '/mnt/pve/Onedrive/dump/vzdump-qemu-101-2023_03_22-15_27_23.vma.zst'
INFO: issuing guest-agent 'fs-freeze' command
INFO: issuing guest-agent 'fs-thaw' command
INFO: started backup task '29fa4222-0a34-4e6f-88e6-81d0ffe31b25'
INFO: resuming VM again
INFO:   2% (754.0 MiB of 32.0 GiB) in 3s, read: 251.3 MiB/s, write: 234.9 MiB/s
INFO:   4% (1.3 GiB of 32.0 GiB) in 6s, read: 194.5 MiB/s, write: 191.1 MiB/s
INFO:   6% (1.9 GiB of 32.0 GiB) in 9s, read: 212.7 MiB/s, write: 211.3 MiB/s
INFO:   8% (2.7 GiB of 32.0 GiB) in 12s, read: 251.3 MiB/s, write: 241.4 MiB/s
INFO:  10% (3.3 GiB of 32.0 GiB) in 15s, read: 218.7 MiB/s, write: 216.5 MiB/s
INFO:  12% (4.0 GiB of 32.0 GiB) in 18s, read: 240.5 MiB/s, write: 232.9 MiB/s
INFO:  14% (4.7 GiB of 32.0 GiB) in 21s, read: 229.6 MiB/s, write: 214.9 MiB/s
INFO:  17% (5.5 GiB of 32.0 GiB) in 24s, read: 268.2 MiB/s, write: 268.2 MiB/s
INFO:  19% (6.2 GiB of 32.0 GiB) in 27s, read: 248.9 MiB/s, write: 220.9 MiB/s

[nero355]

marcel19 schreef op woensdag 22 maart 2023 @ 13:50:
Ik wil gewoon mijn vm's ergens naar back-uppen.

En een externe HDD vind ik geen back-up aangezien die ook kan crashen.

** Iets met (LTO) Tape Drives die al minimaal een halve eeuw worden gebruikt voor backups **

zeroday schreef op woensdag 22 maart 2023 @ 14:01:
je zou wellicht ook eens naar VEEAM kunnen kijken
https://forums.veeam.com/...ps-with-veeam-t66702.html

Daar is inderdaad een mooie FREE versie van die met wat beperkingen goed genoeg is voor thuisgebruik!

Maar een DIY NAS achtige oplossing zoals je nu hebt is ook leuk!

[Cardinal]

Naar aanleiding van mijn problemen met HAOS wil ik kijken om de kernel 6.2 + qemu 7.2 the updaten waar HAOS in draait. Om te beginnen met qemu.

Wat heb ik gedaan.

• De documentatie gevonden: QEMU 7.2 available
• De update commandos uitgevoerd. pveversion -v = pve-qemu-kvm: 7.2.0-8
• De HAOS VM opnieuw opgestart.

code:

bios: ovmf
boot: order=scsi0;ide2
cores: 2
efidisk0: local-lvm:vm-100-disk-0,efitype=4m,pre-enrolled-keys=1,size=4M
ide2: none,media=cdrom
memory: 6144
meta: creation-qemu=7.1.0,ctime=1675201869
name: Home-Assistant
net0: virtio=3A:31:18:53:C4:5D,bridge=vmbr0,firewall=1
numa: 0
onboot: 1
ostype: l26
scsi0: local-lvm:vm-100-disk-2,iothread=1,size=32G
scsihw: virtio-scsi-single
smbios1: uuid=704a6671-ca7a-45cb-a063-d9c3372f1599
sockets: 1
usb0: host=0403:6001
usb1: host=8087:0aaa
usb3: host=10c4:ea60
vmgenid: 311a0e24-baa3-4b25-b572-563d68e9a5fc

Gezien regel 7 zegt "creation-qemu=7.1.0" vermoed ik dat deze nog niet is geupdate, hoe doe ik dat?

[zeroday]

inmiddels even gekeken

INFO: 100% (1000.0 GiB of 1000.0 GiB) in 7h 33m 58s, read: 3.0 GiB/s, write: 45.3 KiB/s
INFO: backup is sparse: 54.37 GiB (5%) total zero data
INFO: transferred 1000.00 GiB in 27238 seconds (37.6 MiB/s)
INFO: archive file size: 918.13GB
INFO: adding notes to backup
INFO: Finished Backup of VM 109 (07:33:58)
INFO: Backup finished at 2023-03-22 21:36:16
INFO: Backup job finished successfully
TASK OK

ook lekker snel <LOL>

backup naar local werkt en PBS is weer online .. en 54GB is gewoon nulled

[powerboat]

Joepie! Nieuwe versie van Proxmox

[CurlyMo]

powerboat schreef op donderdag 23 maart 2023 @ 22:17:
Joepie! Nieuwe versie van Proxmox

[YouTube: What's new in Proxmox Virtual Environment 7.4]

Kan nou niet zeggen dat dit filmpje me overtuigd bij te werken.

[powerboat]

CurlyMo schreef op donderdag 23 maart 2023 @ 22:56:
[...]

Kan nou niet zeggen dat dit filmpje me overtuigd bij te werken.

Is ook niet echt een mega release, maar wel leuke kleine features erin

[rachez]

Zekers, voor mij dan: dark theme.

[CurlyMo]

rachez schreef op vrijdag 24 maart 2023 @ 19:53:
Zekers, voor mij dan: dark theme.

Ik zit vrijwel nooit in de webgui, want Proxmox werkt gewoon goed

[rachez]

@CurlyMo Jij maakt nooit een snapshot van een vm voor je aan iets nieuws begint?
Vind dat nou juist de meerwaarde van proxmox. Ideaal om zaken uit te proberen.

[powerboat]

rachez schreef op vrijdag 24 maart 2023 @ 22:27:
@CurlyMo Jij maakt nooit een snapshot van een vm voor je aan iets nieuws begint?
Vind dat nou juist de meerwaarde van proxmox. Ideaal om zaken uit te proberen.

Snapshots kun je ook vanuit de cli maken

[rachez]

yup, ben best een fan van cli, maar niet voor alles.

[marcel19]

Ik wil mijn bootdrive van mijn Proxmox server gaan upgraden.
Op dit moment is dat een SSD van 256GB maar ik heb een mooie aanbieding weten te scoren voor een M.2 500GB (toch een verdubbeling) Hoe kan ik dit het beste aanpakken?

Moet ik dan al mijn vm's back-uppen, Proxmox opnieuw instaleren en de back-ups terug zetten?
Want ik heb bijvoorbeeld een Openmediavault VM draaien, waar 1x een 4TB HDD aangekoppeld is welke ik niet meeneem in een back-up (iets met teveel ruimte )

[powerboat]

marcel19 schreef op zondag 26 maart 2023 @ 09:00:
Ik wil mijn bootdrive van mijn Proxmox server gaan upgraden.
Op dit moment is dat een SSD van 256GB maar ik heb een mooie aanbieding weten te scoren voor een M.2 500GB (toch een verdubbeling) Hoe kan ik dit het beste aanpakken?

Moet ik dan al mijn vm's back-uppen, Proxmox opnieuw instaleren en de back-ups terug zetten?
Want ik heb bijvoorbeeld een Openmediavault VM draaien, waar 1x een 4TB HDD aangekoppeld is welke ik niet meeneem in een back-up (iets met teveel ruimte )

Je ssd clonen met clonezilla wil wel eens werken of Proxmox installeren op nvme opstarten van de nvme en dan de config uit je /etc/pve en disk images over kopieren.

[marcel19]

Heb ervoor gekozen om te backuppen en opnieuw te instaleren en nu aan het restoren.
Was met wel op valt is dat local (proxmox) opeens 100GB inpikt van de schijf.

Vind dat wel veel aangezien ik eigenlijk niet veel doe met die ruimte behalve wat iso's erop zetten.
Kan ik dat op een of andere manier downsizen naar bijvoorbeeld 64GB?

[vortexnl1982]

Mensen ook problemen met Proxmox LCX containers + het pullen van Dockers ? Blijkbaar vindt Docker ZFS niet zo fijn:

https://forum.proxmox.com...-invalid-argument.119954/

[ResuCigam]

marcel19 schreef op zondag 26 maart 2023 @ 15:04:
Heb ervoor gekozen om te backuppen en opnieuw te instaleren en nu aan het restoren.
Was met wel op valt is dat local (proxmox) opeens 100GB inpikt van de schijf.

Vind dat wel veel aangezien ik eigenlijk niet veel doe met die ruimte behalve wat iso's erop zetten.
Kan ik dat op een of andere manier downsizen naar bijvoorbeeld 64GB?

Dat gaat het makkelijkste tijdens de installatie local=root volume en local-vm=data volume, uit de handleiding:

Advanced LVM Configuration Options
The installer creates a Volume Group (VG) called pve, and additional Logical Volumes (LVs) called root, data, and swap. To control the size of these volumes use:

hdsize
Defines the total hard disk size to be used. This way you can reserve free space on the hard disk for further partitioning (for example for an additional PV and VG on the same hard disk that can be used for LVM storage).

swapsize
Defines the size of the swap volume. The default is the size of the installed memory, minimum 4 GB and maximum 8 GB. The resulting value cannot be greater than hdsize/8.

maxroot
Defines the maximum size of the root volume, which stores the operation system. The maximum limit of the root volume size is hdsize/4.

maxvz
Defines the maximum size of the data volume. The actual size of the data volume is:

datasize = hdsize - rootsize - swapsize - minfree

[djjvb]

Ik wil een router / firewall die op Proxmox PFSense of Opensense gaat draaien. Ik ben daarvoor mijn eerste babystapjes aan het nemen op het gebied van Proxmox.

Waarom niet baremetal? Omdat ik daarnaast nog wat zaken wil via containers / docker die 'netwerk' gerelateerd zijn zoals PiHole/Adguard, Unifi Controller, DSMR reader (niet netwerk gerelateerd, maar P1 zit nu eenmaal in meterkast en kan er een Raspberry Pi uit) en wat eventueel nog komt in de toekomst. Maar wel allemaal 'netwerk' gerelateerd. Er komt uiteindelijk ook nog een truenas scale server, waarop andere zaken zullen draaien, zoals Plex, Home Assistant, etc. Deze kan ik eventueel ook met proxmox doen, zodat ik deze ook als redundant optie kan gebruiken.

Heb een Topton kastje gekocht met een Ryzen 5800U met 64GB. Dit kastje heeft ruimte voor 2 nvme schijven (En eventueel nog 2 Sata schijven, maar laat ik even buiten beschouwing omdat die 'extern' zullen moeten worden aangesloten ivm hitte, maar is eventueel te doen als dat beter is als advies).

Nu is de eerste stap: installeren. Nu kom daar nog wel uit, maar er is een vraag over de installatie schijf en EXT4 / ZFS in raid bijvoorbeeld. Nu heb heb ik ter voorbereiding al veel video's gekeken en zaken gelezen, maar 'the rabbit hole' lijkt steeds dieper te worden en nu begint het me te duizelen. Ook omdat niet iedereen eenzelfde use case heeft en sommigen vanuit een zware server of meerdere geclusterde nodes praten, etc.

Nu mijn kast ruimte heeft voor 2 nvme schijven, is mijn vraag dus wat jullie zouden doen in mijn usecase qua bootdrive / ZFS? Het wordt wel de router in 'productie' omgeving, maar zal wel wat draaien maar niet extreem veel. Maar enige stabiliteit en betrouwbaarheid is wel gewenst.

Is het dan beter om 2 nvme's met zfs in raid 1 te zetten? Of niet? Graag jullie advies.

(Zal een backup NUC maken die altijd bare metal tijdelijk ingehangen kan worden met minimale regels en zal op korte termijn mijn proxmox laten backuppen naar mijn synology nas).

[orvintax]

djjvb schreef op woensdag 29 maart 2023 @ 19:25:
Nu mijn kast ruimte heeft voor 2 nvme schijven, is mijn vraag dus wat jullie zouden doen in mijn usecase qua bootdrive / ZFS? Het wordt wel de router in 'productie' omgeving, maar zal wel wat draaien maar niet extreem veel. Maar enige stabiliteit en betrouwbaarheid is wel gewenst.

Ik vind persoonlijk dat stabiliteit het belangrijkste is in een server. Laat staan netwerkapparatuur. Ik denk dat ZFS wel een van de, al dan niet meest stabiele/veilige filesystems is.

Is het dan beter om 2 nvme's met zfs in raid 1 te zetten? Of niet? Graag jullie advies.

Ja, als je voor een ZFS config gaat wel. ZFS zonder minimaal RAID 1 verliest veel van zijn voordelen.

[rachez]

imho is ext4 prima. Weinig complexiteit en prima performance voor een homelab.

Ik zie geen nut in ZFS in een homelab tenzij je dat graag wilt uitzoeken / ervan wilt leren. Anders zou ik voor iets simpels gaan en de tijd steken in andere zaken die je wel wilt leren.

[tomdh76]

Ik heb ook een aantal jaar gewoon ext4 voor mijn thuissituatie, draai er opnsense, home assistant, plex en wat dockers op. Werkt heel stabiel. Ik heb nu een grote kast dus ben wel geinteresseerd op termijn in die topton kastjes als dat een beetje betrouwbaar is (enkel via aliexpress..?)

[dcm360]

Waarom is ZFS 'complex´, en EXT4 met LVM (wat je dan krijgt met Proxmox) niet? Zeker als je op een systeem elders ook ZFS gaat gebruiken, is het ook op een 'licht' systeem gebruiken juist ideaal. Je kan er zelfs voor kiezen om het gewoon op een enkele SSD te draaien zonder RAID, en regelmatig snapshots te synchroniseren naar het andere systeem (met bijvoorbeeld iets als Syncoid/Sanoid). Nog los van dat je dan alleen ZFS hoeft te kennen, en niet er naast ook nog LVM (EXT4 op zich is relatief saai).

[joppybt]

dcm360 schreef op woensdag 29 maart 2023 @ 20:49:
Waarom is ZFS 'complex´, en EXT4 met LVM (wat je dan krijgt met Proxmox) niet? Zeker als je op een systeem elders ook ZFS gaat gebruiken, is het ook op een 'licht' systeem gebruiken juist ideaal. Je kan er zelfs voor kiezen om het gewoon op een enkele SSD te draaien zonder RAID, en regelmatig snapshots te synchroniseren naar het andere systeem (met bijvoorbeeld iets als Syncoid/Sanoid). Nog los van dat je dan alleen ZFS hoeft te kennen, en niet er naast ook nog LVM (EXT4 op zich is relatief saai).

Ik heb voor mijn enkele SSD gekozen voor ZFS. Dat kan simpel in de installer ('Advanced' als ik het me goed herinner) en verder met allemaal de default keuzes.
Mijn idee is dat ik nu in de nabije toekomst kan besluiten toch nog een tweede SSD er bij te plaatsen en de eerste dan uit te breiden naar RAID1. Dat is misschien wel wat dapper ....

[RobertMe]

dcm360 schreef op woensdag 29 maart 2023 @ 20:49:
Waarom is ZFS 'complex´, en EXT4 met LVM (wat je dan krijgt met Proxmox) niet? Zeker als je op een systeem elders ook ZFS gaat gebruiken, is het ook op een 'licht' systeem gebruiken juist ideaal. Je kan er zelfs voor kiezen om het gewoon op een enkele SSD te draaien zonder RAID, en regelmatig snapshots te synchroniseren naar het andere systeem (met bijvoorbeeld iets als Syncoid/Sanoid). Nog los van dat je dan alleen ZFS hoeft te kennen, en niet er naast ook nog LVM (EXT4 op zich is relatief saai).

Hear Hear. Had al wat ervaring met ZFS van hobbyen op een Arch Linux gebaseerde zelfbouw server. Die vervangen door Proxmox met ZFS (+ data schijven in RAIDZ1). En nu paar maanden een Chinese mini PC die servertje moet worden en sinds een week een TopYon systeem dat router moet worden. Allen met ZFS (op Debian) en dan snapshots syncen naar Proxmox.

En owja, 2 VPSen die ook ZFS on root hebben.

[tomdh76]

Weet niet of het heel complex is, ik heb het in het begin even geprobeerd maar zag toen bij mijn ssd hele hoge wearout % ontstaan. Destijds zei iemand toen dat dat met ZFS te maken had en ik beter LVM kon gebruiken...Inderdaad ging vanaf die tijd het wearout percentage veel langzamer omhoog. Maar misschien dat ik iets fout heb gedaan in het begin...

edit: ik zie dat meer mensen dat probleem hebben / hadden:
https://forum.proxmox.com...e-the-zfs-wearout.100148/

[ Voor 15% gewijzigd door tomdh76 op 29-03-2023 21:03 ]

[nero355]

tomdh76 schreef op woensdag 29 maart 2023 @ 20:57:
Weet niet of het heel complex is, ik heb het in het begin even geprobeerd maar zag toen bij mijn ssd hele hoge wearout % ontstaan.
Destijds zei iemand toen dat dat met ZFS te maken had en ik beter LVM kon gebruiken...Inderdaad ging vanaf die tijd het wearout percentage veel langzamer omhoog.

Maar misschien dat ik iets fout heb gedaan in het begin...

Tja, als je Consumer meuk gaat proppen in een Enterprise Setup dan kan je dat soort ellende verwachten!

Gewoon fatsoenlijke SSD's kopen en dan is er niks aan de hand!

Verder 100% eens met :

dcm360 schreef op woensdag 29 maart 2023 @ 20:49:
Waarom is ZFS 'complex´, en EXT4 met LVM (wat je dan krijgt met Proxmox) niet?

orvintax schreef op woensdag 29 maart 2023 @ 19:34:
Ik vind persoonlijk dat stabiliteit het belangrijkste is in een server. Laat staan netwerkapparatuur.
Ik denk dat ZFS wel een van de, al dan niet meest stabiele/veilige filesystems is.

ZFS zonder minimaal RAID 1 verliest veel van zijn voordelen.

[tomdh76]

nero355 schreef op donderdag 30 maart 2023 @ 00:15:
[...]

Tja, als je Consumer meuk gaat proppen in een Enterprise Setup dan kan je dat soort ellende verwachten!

Gewoon fatsoenlijke SSD's kopen en dan is er niks aan de hand!

Ik heb gewoon inderdaad zo'n samsung evo ssd.

[CurlyMo]

tomdh76 schreef op donderdag 30 maart 2023 @ 07:30:
[...]


Ik heb gewoon inderdaad zo'n samsung evo ssd.

Er is ook niet echt een peil op te trekken. Ik draai op een Crucial MX500 zfs mirror.
Schijf 1: 6605 uur, 39% wear
Schijf 2: 11083 uur, 6% wear

[CurlyMo]

rachez schreef op woensdag 29 maart 2023 @ 20:26:
Ik zie geen nut in ZFS in een homelab tenzij je dat graag wilt uitzoeken / ervan wilt leren. Anders zou ik voor iets simpels gaan en de tijd steken in andere zaken die je wel wilt leren.

ZFS is de meest geniale keuze en niet alleen voor zijn software raid mogelijkheid, maar vooral door zijn snapshots en replicatie. Daarom draai ik net als @RobertMe ook ZFS op mijn single disk VPS. Met ZFS kan ik dat ding super makkelijker backuppen naar mijn lokale NAS waardoor ik bij problemen ook weer super snel online ben.

[DRaakje]

Ik koost voor ZFS omdat volgens mij enige was die een Raid 1 software raid mogelijkheid had.

[tomdh76]

CurlyMo schreef op donderdag 30 maart 2023 @ 08:56:
[...]

ZFS is de meest geniale keuze en niet alleen voor zijn software raid mogelijkheid, maar vooral door zijn snapshots en replicatie. Daarom draai ik net als @RobertMe ook ZFS op mijn single disk VPS. Met ZFS kan ik dat ding super makkelijker backuppen naar mijn lokale NAS waardoor ik bij problemen ook weer super snel online ben.

Ik kan ook gewoon met lvm snapshots maken naar een proxmox backup server ?

[CurlyMo]

tomdh76 schreef op donderdag 30 maart 2023 @ 10:16:
[...]


Ik kan ook gewoon met lvm snapshots maken naar een proxmox backup server ?

Als dat voor jou werkt dan is dat prima.

[djjvb]

Dank voor jullie reacties, leer veel van jullie overwegingen. En sorry als ik soms wat lange posts maak, maar ik wil mijn gedachtengang delen. Zodat jullie me ook kunnen wijzen waarop dat niet klopt. Zoals gezegd zijn het baby stapjes en sta ik aan het begin van mijn reis en leercurve. Ben geen IT-er met netwerk/storage ervaring. Meer een 'tinker dad', die het plan op had gevat het netwerk beter en veiliger te maken voor de kids. Ik wil eigenlijk per punt dat waar ik vragen over heb, beetpakken en van leren.

Bij de installatie komt doeldisk dus al naar voren. En daar zag ik ook in de tutorials grof gezegd 2 opties: doorklikken met ext4, vaak bij 1 disk of specifieke bootdisk. Of zfs raid opties (soms met lz4 compressie voor de zekerheid en de HD size teruggebracht voor overprovisioning; vaak in de setups met echte (storage) server racks, etc).
Verder leerde ik dat ZFS 'veel' geheugen nodig heeft en je schijven sneller kan laten slijten. Nu heb ik 64GB, dus dat zou voldoende moeten zijn (vanaf 32GB geadviseerd begreep ik). Qua nvme's dacht ik eerst aan de WDBlue 570, maar sta open voor elke beter suggestie.

Nu wordt dit natuurlijk geen storage server met meerdere pools, etc. En hij hoeft ook niet enterprise rock solid te worden. Maar aangezien het als router/fw wel belangrijk is voor de internettoegang voor het gezin is het wel fijn de downtime zo veel mogelijk te kunnen beperken. Maar wel binnen het 'redelijke' van een thuisomgeving qua gedoe, kosten en 'de kans op'.

In mijn hoofd sta ik voor de keuze bij 2 nvme schijven (even nu uitgaand van 2x 1TB, maar kan ook nog anders):
1) bootdisk en losse disk voor VM's/containers. Waarbij ik nu heb geleerd dat ik evt ook de losse bootdisk in zfs zou kunnen zetten
2) zfs raid 1 voor beide disks, maar dan met 'partities' (weet niet of ik het dan nog zo mag noemen) voor boot en vm's/containers.

Maar omdat ik nog geen ervaring heb kan ik niet overzien waar ik vooraf goed aan doe in deze usecase als router/fw. Die niet gebruikt wordt als 'lab' om mee te spelen. Een beperkt aantal netwerk georiënteerde vm's containers zal draaien.
Er is nog de mogelijkheid om eventueel ook nog 2 SSD's extern te plaatsen. Maar dit voelt wel een beetje als overkill.

Nu neig ik na de opmerkingen er toch naar om voor zfs in raid1 te zetten. Maar als ik voor ZFS ga, misschien moet ik dan niet voor de WD Blue 570 nvme's gaan? Waar moet ik op letten? Of welke nvme's voor een pcie 3.0 x4 moet ik dan aan denken?

[dcm360]

ZFS heeft veel geheugen nodig als je er een high performance storage server mee gaat bouwen. Volgens mij heb ik al eens eerder hier aangegeven dat bijvoorbeeld een lichte appliance (wat storage betreft) als pfSense ook kan draaien vanaf ZFS, en daarvoor praktisch geen geheugen nodig heeft. Thuisvirtualisatie zal (uitzonderingen daargelaten) eerder vallen onder licht gebruik dan onder high performance.

Writes van Proxmox zijn aardig te beperken door de HA-services uit te schakelen. In ongeveer 4 jaar tijd heb ik daarmee in mijn router (Proxmox met pfSense en nog wat klein grut er op) ongeveer 16% van de writes op een 256GB Intel 760P weten te maken. Daarmee is de resterende levensduur van de SSD nog ruim 20 jaar, en jouw schijven kunnen vermoedelijk meer writes aan dan de schijf die ik heb.

[nero355]

djjvb schreef op donderdag 30 maart 2023 @ 10:42:
Meer een 'tinker dad', die het plan op had gevat het netwerk beter en veiliger te maken voor de kids.

Maar daar heb je toch niet al dit gedoe voor nodig

- Voor de meest simpele Routers waar je de WAN DNS kan aanpassen : https://www.opendns.com/setupguide/#familyshield
- Alternatief voor Routers waar je de LAN DNS kan aanpassen : https://pi-hole.net
- Als je pfSense/OPNsense draait dan kan je pfBlockerNG gebruiken die grofweg hetzelfde doet of juist combineren met één van de andere twee!

Daarmee kom je al een heel eind IMHO

Of zfs raid opties (soms met lz4 compressie voor de zekerheid en de HD size teruggebracht voor overprovisioning; vaak in de setups met echte (storage) server racks, etc).

Met een fatsoenlijke Enterprise/Workstation SSD heb je dat niet nodig, want die is al extra overprovisioned en heeft hele uitgebreide slijtage management/balancing aan boord!

Daarnaast is LZ4 Compression tegenwoordig een Default waarde onder OpenZFS omdat het je amper CPU kracht kost als ik het me goed herinner!

Verder leerde ik dat ZFS 'veel' geheugen nodig

Ik zou zeggen minimaal 8 GB voor een NAS en minimaal 16 GB als je nog andere dingen ermee gaat doen

Qua nvme's dacht ik eerst aan de WDBlue 570, maar sta open voor elke beter suggestie.

Dat is Consumer Level rommel IMHO

Als je het echt goed wilt doen dan heb je zoiets nodig :
- uitvoering: Intel DC D3-S4510 2,5" 960GB
- uitvoering: Intel DC D3-S4510 M.2 480GB
- uitvoering: Intel DC P4510 1TB
- uitvoering: Samsung PM983 M.2 960GB

Zomaar wat voorbeelden, want ik zou niet weten wat er op dit moment het meest recent is heel eerlijk gezegd...

Ik denk nog steeds in SATA termen en gebruik dit soort modellen :
- uitvoering: Intel 320 Boxed 300GB
- uitvoering: Intel DC S3710 2,5" 200GB
- uitvoering: Crucial M500 2,5" 960GB
- uitvoering: Micron M500DC 2,5" 240GB



Denk in ieder geval die richting op en ga niet prutsen met Kingston A2000/WD Blue/Al die "Samsung Gamer zooi" en dergelijken...

[rachez]

CurlyMo schreef op donderdag 30 maart 2023 @ 08:56:
[...]

ZFS is de meest geniale keuze en niet alleen voor zijn software raid mogelijkheid, maar vooral door zijn snapshots en replicatie.

Ben dan toch wel benieuwd waarvoor je die snapshots van je proxmox host gebruikt: het OS zelf ?

Van de vms e.d. worden ook zonder ZFS prima snapshots van gemaakt.
Mocht mijn proxmox host kapot gaan is het een herinstall van het OS en de vms backup terugzetten.

[CurlyMo]

rachez schreef op donderdag 30 maart 2023 @ 19:35:
[...]


Ben dan toch wel benieuwd waarvoor je die snapshots van je proxmox host gebruikt: het OS zelf ?

Van de vms e.d. worden ook zonder ZFS prima snapshots van gemaakt.
Mocht mijn proxmox host kapot gaan is het een herinstall van het OS en de vms backup terugzetten.

Ik heb alles in ZFS staan. Alleen repliceer ik niet alles.

[rachez]

Ok, dat blijf ik bij mijn vraag: waarom is ZFS dan perse noodzakelijk wat een beetje lijkt uit jullie reacties?

Overigens een oprechte vraag, maar ik zie de meerwaarde nog niet in dit geval.

[Feni]

rachez schreef op donderdag 30 maart 2023 @ 20:04:
Ok, dat blijf ik bij mijn vraag: waarom is ZFS dan perse noodzakelijk wat een beetje lijkt uit jullie reacties?

Overigens een oprechte vraag, maar ik zie de meerwaarde nog niet in dit geval.

Het voornaamste is dat ZFS bestand is tegen bitrot en zichzelf kan repareren via een scub, iets wat ext4 niet kan. Ook biedt het mogelijkheden om te repliceren die beter zijn dan ext4. Nadelen zijn dat zvol's niet makkelijk aan te passen zijn, ook zijn ze niet heel flexibel uit te breiden afhankelijk van eerder gemaakte keuzes, en het vraagt relatief veel geheugen.

In een homelab omgeving zijn de voordelen beperkt, maar meer dan nul.

[rachez]

Check, daar kan ik me wel in vinden, bedankt. Voor mij geen reden om nou te switchen.

[orvintax]

Over ZFS en geheugen, zoals eerder aangegeven heeft ZFS geheugen nodig om te compenseren voor zijn mindere snelheid tegenover andere filesystems. Dat geheugen gebruik gaat specifiek over de ARC cache wat een read cache in het geheugen is. Voor huis, tuin en keuken gebruik ga je het waarschijnlijk niet eens merken mocht dat ondermaats zijn.

Dat hele ZFS en RAM verhaal begint ook een beetje zijn eigen leven te leiden, want volgensmij is dat voornamelijk van toepassing als je deduplication gebruikt. Waar je naar mijn mening echt een specifieke usecase voor moet hebben om daar mee te beginnen.

Al met al, volgensmij is de vuistregel iets van 1GB RAM per TB aan oplag. Vrij weinig om je tegenwoordig nog druk over te maken.

[ Voor 4% gewijzigd door orvintax op 03-04-2023 14:17 ]

[MakhouT]

Ik heb een tijdje niet meer kunnen kijken naar mijn NUC en proxmox. Deze week heb ik terug wat meer tijd.

Kan ik in proxmox van 2 fysieke schijven 1 grote schijf maken? Zodat ik dan 2.2TB heb? Of raden jullie mij dit gewoon af om te doen?

Dit is wat ik momenteel heb staan

[_root]

@MakhouT

Het samenvoegen van 2 disken is nooit een erg goed idee.
Als je zou kiezen voor een raid-0 oplossing is het verliezen van 1 disk het einde van de totale data op de 2 disken.

2 disken = 2x zoveel kans op een defect.

Dus niet doen, tenzij het allemaal geen bal uitmaakt als het weg is.

Wij zijn als experiment uiteindelijke een 16 node cluster op Proxmox aan het bouwen met externe storage.

Wat is het toch een fantastisch product

[ Voor 34% gewijzigd door _root op 04-04-2023 11:29 ]

[MakhouT]

_root schreef op dinsdag 4 april 2023 @ 11:22:
@MakhouT

Het samenvoegen van 2 disken is nooit een erg goed idee.
Als je zou kiezen voor een raid-0 oplossing is het verliezen van 1 disk het einde van de totale data op de 2 disken.

2 disken = 2x zoveel kans op een defect.

Dus niet doen, tenzij het allemaal geen bal uitmaakt als het weg is.

Wij zijn als experiment uiteindelijke een 16 node cluster op Proxmox aan het bouwen met externe storage.

Wat is het toch een fantastisch product

Wel de enige zaken dat ik momenteel van plan ben om te draaien op proxmox is
Pihole
homeassisstant
plex setup met alle bijhorende apps zoals radarr, medusa, etc, etc

Dus maakt niet veel uit denk ik dan

[_root]

MakhouT schreef op dinsdag 4 april 2023 @ 11:33:
[...]


Wel de enige zaken dat ik momenteel van plan ben om te draaien op proxmox is
Pihole
homeassisstant
plex setup met alle bijhorende apps zoals radarr, medusa, etc, etc

Dus maakt niet veel uit denk ik dan

Het grootste risico is dat je je kwetsbare setup vergeet na een aantal maanden, je gaat gaat er steeds meer mee doen, data op zetten, veel werk in stoppen en opeens is het plof...
Oh ja, zo zat het...

Ik heb ooit eens een test gedaan een jaar of 15 geleden met 1 van de eerste SSD's. Alles aan, ext3, accesstime... en tijdens het schrijven van een paper, plof en alles naar de haaien, weken werk weg..

En toen was het inderdaad: Oh ja, wat een L*L, compleet vergeten dat het was om te testen hoelang een SSD mee kan gaan

[MakhouT]

_root schreef op dinsdag 4 april 2023 @ 11:42:
[...]


Het grootste risico is dat je je kwetsbare setup vergeet na een aantal maanden, je gaat gaat er steeds meer mee doen, data op zetten, veel werk in stoppen en opeens is het plof...
Oh ja, zo zat het...

Ik heb ooit eens een test gedaan een jaar of 15 geleden met 1 van de eerste SSD's. Alles aan, ext3, accesstime... en tijdens het schrijven van een paper, plof en alles naar de haaien, weken werk weg..

En toen was het inderdaad: Oh ja, wat een L*L, compleet vergeten dat het was om te testen hoelang een SSD mee kan gaan

Ok got it!
Niet samenvoegen is dus de boodschap

Nu even uitzoeken hoe ik die disk aan de praat krijg in proxmox om er een container op te installeren

Thanks!

[MakhouT]

EDIT: Ah nog een vraagje, heeft proxmox iets van settings om in sleepmode te gaan ofzo? Want om de enkele dagen valt mijn NUC gewoon uit?

[_JGC_]

MakhouT schreef op dinsdag 4 april 2023 @ 11:48:
EDIT: Ah nog een vraagje, heeft proxmox iets van settings om in sleepmode te gaan ofzo? Want om de enkele dagen valt mijn NUC gewoon uit?

Lijkt me eerder iets in hardware, mogelijk zelfs een thermische beveiliging.

Proxmox doet standaard helemaal niks aan power saving, staat ingesteld op performance en laat de boel zoveel mogelijk turbo boosten.

Ik heb mijn Lenovo M900 Tiny op powersave ingesteld, staat eigenlijk de hele dag op 800MHz te draaien.

[MakhouT]

_JGC_ schreef op dinsdag 4 april 2023 @ 13:44:
[...]

Lijkt me eerder iets in hardware, mogelijk zelfs een thermische beveiliging.

Proxmox doet standaard helemaal niks aan power saving, staat ingesteld op performance en laat de boel zoveel mogelijk turbo boosten.

Ik heb mijn Lenovo M900 Tiny op powersave ingesteld, staat eigenlijk de hele dag op 800MHz te draaien.

Zou mij sterk verbazen dat het een thermische beveiliging zou zijn, want Er draait op die NUC nagenoeg niets buiten proxmox en die draait op zich enkel een pihole instance.
Het gaat over een NUC8i7BEH2. Dus ook krachtig genoeg om daarmee thermische problemen te hebben denk ik.
Ik heb al eens in de BIOS gekeken en daar lijkt mij alles ok.

[RobertMe]

MakhouT schreef op dinsdag 4 april 2023 @ 13:46:
[...]


Zou mij sterk verbazen dat het een thermische beveiliging zou zijn, want Er draait op die NUC nagenoeg niets buiten proxmox en die draait op zich enkel een pihole instance.
Het gaat over een NUC8i7BEH2. Dus ook krachtig genoeg om daarmee thermische problemen te hebben denk ik.
Ik heb al eens in de BIOS gekeken en daar lijkt mij alles ok.

Is het niet een kernel panic? Als je de aan/uit knop indrukt zou die natuurlijk weer moeten functioneren als die in slaapstand was, is dat ook het geval? En/of sluit die af als je de aan/uit knop gebruikt? (Dan zou die dus nog gewoon draaien en op basis van ACPI netjes afsluiten).

[nero355]

MakhouT schreef op dinsdag 4 april 2023 @ 11:48:
Ah nog een vraagje, heeft proxmox iets van settings om in sleepmode te gaan ofzo?
Want om de enkele dagen valt mijn NUC gewoon uit?

Eerder had iemand over een Laptop die Proxmox draait en in die situatie van alles slopen om de boel niet in de slaapstand of iets te zetten dus ik zou eens kijken of je niet zoiets moet doen, want een Intel NUC kan voor een OS verdomd veel op een Laptop lijken gezien de hardware die erin zit en dat begint al bij de CPU

[MakhouT]

nero355 schreef op dinsdag 4 april 2023 @ 15:12:
[...]

Eerder had iemand over een Laptop die Proxmox draait en in die situatie van alles slopen om de boel niet in de slaapstand of iets te zetten dus ik zou eens kijken of je niet zoiets moet doen, want een Intel NUC kan voor een OS verdomd veel op een Laptop lijken gezien de hardware die erin zit en dat begint al bij de CPU

Waar doe ik dit dan? Ergens in proxmox zelf? Of ergens in de BIOS?
Ik kan straks als ik gedaan heb met werken nog eens gaan kijken in de BIOS en eventueel screenshots nemen, maar volgens mij staat alles goed.

RobertMe schreef op dinsdag 4 april 2023 @ 14:21:
[...]

Is het niet een kernel panic? Als je de aan/uit knop indrukt zou die natuurlijk weer moeten functioneren als die in slaapstand was, is dat ook het geval? En/of sluit die af als je de aan/uit knop gebruikt? (Dan zou die dus nog gewoon draaien en op basis van ACPI netjes afsluiten).

Ik zal vanavond nog een bevestigen als ik het heb geprobeerd op de NUC

[nero355]

MakhouT schreef op dinsdag 4 april 2023 @ 15:15:
Waar doe ik dit dan? Ergens in proxmox zelf? Of ergens in de BIOS?
Ik kan straks als ik gedaan heb met werken nog eens gaan kijken in de BIOS en eventueel screenshots nemen, maar volgens mij staat alles goed.

Lees effe een stukje terug : Cyberpope in "Het grote Proxmox VE topic"

Ik zal vanavond nog een bevestigen als ik het heb geprobeerd op de NUC

Als al die andere tips je niks opleveren kan je dus met bovenstaande eens aan de slag gaan en hopelijk is dat dan wel de oplossing...

[rachez]

_JGC_ schreef op dinsdag 4 april 2023 @ 13:44:
[...]

Lijkt me eerder iets in hardware

@MakhouT Eens met JGC. Ik heb 3 nucs met proxmox, de enige keer dat ik shutdowns had van de promox server zelf was bij hardware issues (alleen iets met virtualisation settings voor de cpu aangepast in bios).

Ik zou je /var/log/messages log en

code:

journalctl -b -1

+ SHIFT + G goed doornemen rond de tijd van de shutdown op error messages.

[MakhouT]

rachez schreef op vrijdag 7 april 2023 @ 20:22:
[...]

@MakhouT Eens met JGC. Ik heb 3 nucs met proxmox, de enige keer dat ik shutdowns had van de promox server zelf was bij hardware issues (alleen iets met virtualisation settings voor de cpu aangepast in bios).

Ik zou je /var/log/messages log en

code:

journalctl -b -1

+ SHIFT + G goed doornemen rond de tijd van de shutdown op error messages.

Sorry voor de latere reactie iedereen. Ik was vergeten dat de paasvakantie aangebroken was, dus tijd en energie was terug ingeperkt.

In de BIOS gecheckt en het enige dat ik kan terugvinden van virtualisation is "Intel Virtualization Technology" En die staat bij mij enabled.
En terwijl ik dit type is de BIOS gefreezed en moet ik de NUC manueel heropstarten door op de knop te drukken...
Na het herstarten even de temperaturen gecheckt en zien er OK uit voor mij:
VR Temp 51
Mem Temp 38
Motherboard 36
PCH 44

Ineens de De Fan control mode gecheckt en die staat bij mij op quiet. Geen idee of ik deze hoger zou moeten zetten om nog beter te koelen?

Power settings:
Max performance staat enabled

En bij Secondary power settings:
After power failure -> power on
Deep S4/S5 -> disabled
Sleep type support -> Stond op Legacy S3 standby en die heb ik net veranderd naar Modern standby
Geen idee of dit zaken dat er mee te maken hebben?


Ik heb de journal eens gelezen rond de tijdstip dat het gebeurd is en dit is wat ik in vond. Er gebeurt effectief een shutdown. Maar de reden is mij wel nog niet helemaal duidelijk.

Apr 03 18:05:08 pve systemd[1]: dev-disk-by\x2duuid-341256ff\x2d26cb\x2d487d\x2db490\x2d422397be6915.swap: Succe>
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/disk/by-uuid/341256ff-26cb-487d-b490-422397be6915.
Apr 03 18:05:08 pve systemd[1]: dev-dm\x2d0.swap: Succeeded.
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/dm-0.
Apr 03 18:05:08 pve systemd[1]: dev-pve-swap.swap: Succeeded.
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/pve/swap.
Apr 03 18:05:08 pve systemd[1]: Reached target Unmount All Filesystems.
Apr 03 18:05:09 pve lvm[241393]: 7 logical volume(s) in volume group "pve" unmonitored
Apr 03 18:05:09 pve dmeventd[413]: No longer monitoring thin pool pve-data-tpool.
Apr 03 18:05:09 pve systemd[1]: lvm2-monitor.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Stopped Monitoring of LVM2 mirrors, snapshots etc. using dmeventd or progress po>
Apr 03 18:05:09 pve systemd[1]: Stopping Device-mapper event daemon...
Apr 03 18:05:09 pve dmeventd[413]: dmeventd detected break while being idle for 0 second(s), exiting.
Apr 03 18:05:09 pve dmeventd[413]: dmeventd shutting down.
Apr 03 18:05:09 pve systemd[1]: dm-event.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Stopped Device-mapper event daemon.
Apr 03 18:05:09 pve systemd[1]: dm-event.service: Consumed 2.220s CPU time.
Apr 03 18:05:09 pve systemd[1]: Reached target Shutdown.
Apr 03 18:05:09 pve systemd[1]: Reached target Final Step.
Apr 03 18:05:09 pve systemd[1]: systemd-poweroff.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Finished Power-Off.
Apr 03 18:05:09 pve systemd[1]: Reached target Power-Off.
Apr 03 18:05:09 pve systemd[1]: Shutting down.
Apr 03 18:05:09 pve systemd-shutdown[1]: Syncing filesystems and block devices.
Apr 03 18:05:09 pve systemd-shutdown[1]: Sending SIGTERM to remaining processes...
Apr 03 18:05:09 pve systemd-journald[399]: Journal stopped
...skipping...
Apr 03 18:05:08 pve systemd[1]: dev-disk-by\x2duuid-341256ff\x2d26cb\x2d487d\x2db490\x2d422397be6915.swap: Succe>
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/disk/by-uuid/341256ff-26cb-487d-b490-422397be6915.
Apr 03 18:05:08 pve systemd[1]: dev-dm\x2d0.swap: Succeeded.
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/dm-0.
Apr 03 18:05:08 pve systemd[1]: dev-pve-swap.swap: Succeeded.
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/pve/swap.
Apr 03 18:05:08 pve systemd[1]: Reached target Unmount All Filesystems.
Apr 03 18:05:09 pve lvm[241393]: 7 logical volume(s) in volume group "pve" unmonitored
Apr 03 18:05:09 pve dmeventd[413]: No longer monitoring thin pool pve-data-tpool.
Apr 03 18:05:09 pve systemd[1]: lvm2-monitor.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Stopped Monitoring of LVM2 mirrors, snapshots etc. using dmeventd or progress po>
Apr 03 18:05:09 pve systemd[1]: Stopping Device-mapper event daemon...
Apr 03 18:05:09 pve dmeventd[413]: dmeventd detected break while being idle for 0 second(s), exiting.
Apr 03 18:05:09 pve dmeventd[413]: dmeventd shutting down.
Apr 03 18:05:09 pve systemd[1]: dm-event.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Stopped Device-mapper event daemon.
Apr 03 18:05:09 pve systemd[1]: dm-event.service: Consumed 2.220s CPU time.
Apr 03 18:05:09 pve systemd[1]: Reached target Shutdown.
Apr 03 18:05:09 pve systemd[1]: Reached target Final Step.
Apr 03 18:05:09 pve systemd[1]: systemd-poweroff.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Finished Power-Off.
Apr 03 18:05:09 pve systemd[1]: Reached target Power-Off.
Apr 03 18:05:09 pve systemd[1]: Shutting down.
Apr 03 18:05:09 pve systemd-shutdown[1]: Syncing filesystems and block devices.
Apr 03 18:05:09 pve systemd-shutdown[1]: Sending SIGTERM to remaining processes...
Apr 03 18:05:09 pve systemd-journald[399]: Journal stopped
...skipping...
Apr 03 18:05:08 pve systemd[1]: dev-disk-by\x2duuid-341256ff\x2d26cb\x2d487d\x2db490\x2d422397be6915.swap: Succe>
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/disk/by-uuid/341256ff-26cb-487d-b490-422397be6915.
Apr 03 18:05:08 pve systemd[1]: dev-dm\x2d0.swap: Succeeded.
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/dm-0.
Apr 03 18:05:08 pve systemd[1]: dev-pve-swap.swap: Succeeded.
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/pve/swap.
Apr 03 18:05:08 pve systemd[1]: Reached target Unmount All Filesystems.
Apr 03 18:05:09 pve lvm[241393]: 7 logical volume(s) in volume group "pve" unmonitored
Apr 03 18:05:09 pve dmeventd[413]: No longer monitoring thin pool pve-data-tpool.
Apr 03 18:05:09 pve systemd[1]: lvm2-monitor.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Stopped Monitoring of LVM2 mirrors, snapshots etc. using dmeventd or progress po>
Apr 03 18:05:09 pve systemd[1]: Stopping Device-mapper event daemon...
Apr 03 18:05:09 pve dmeventd[413]: dmeventd detected break while being idle for 0 second(s), exiting.
Apr 03 18:05:09 pve dmeventd[413]: dmeventd shutting down.
Apr 03 18:05:09 pve systemd[1]: dm-event.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Stopped Device-mapper event daemon.
Apr 03 18:05:09 pve systemd[1]: dm-event.service: Consumed 2.220s CPU time.
Apr 03 18:05:09 pve systemd[1]: Reached target Shutdown.
Apr 03 18:05:09 pve systemd[1]: Reached target Final Step.
Apr 03 18:05:09 pve systemd[1]: systemd-poweroff.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Finished Power-Off.
Apr 03 18:05:09 pve systemd[1]: Reached target Power-Off.
Apr 03 18:05:09 pve systemd[1]: Shutting down.
Apr 03 18:05:09 pve systemd-shutdown[1]: Syncing filesystems and block devices.
Apr 03 18:05:09 pve systemd-shutdown[1]: Sending SIGTERM to remaining processes...
Apr 03 18:05:09 pve systemd-journald[399]: Journal stopped
...skipping...
Apr 03 18:05:08 pve systemd[1]: dev-disk-by\x2duuid-341256ff\x2d26cb\x2d487d\x2db490\x2d422397be6915.swap: Succe>
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/disk/by-uuid/341256ff-26cb-487d-b490-422397be6915.
Apr 03 18:05:08 pve systemd[1]: dev-dm\x2d0.swap: Succeeded.
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/dm-0.
Apr 03 18:05:08 pve systemd[1]: dev-pve-swap.swap: Succeeded.
Apr 03 18:05:08 pve systemd[1]: Deactivated swap /dev/pve/swap.
Apr 03 18:05:08 pve systemd[1]: Reached target Unmount All Filesystems.
Apr 03 18:05:09 pve lvm[241393]: 7 logical volume(s) in volume group "pve" unmonitored
Apr 03 18:05:09 pve dmeventd[413]: No longer monitoring thin pool pve-data-tpool.
Apr 03 18:05:09 pve systemd[1]: lvm2-monitor.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Stopped Monitoring of LVM2 mirrors, snapshots etc. using dmeventd or progress po>
Apr 03 18:05:09 pve systemd[1]: Stopping Device-mapper event daemon...
Apr 03 18:05:09 pve dmeventd[413]: dmeventd detected break while being idle for 0 second(s), exiting.
Apr 03 18:05:09 pve dmeventd[413]: dmeventd shutting down.
Apr 03 18:05:09 pve systemd[1]: dm-event.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Stopped Device-mapper event daemon.
Apr 03 18:05:09 pve systemd[1]: dm-event.service: Consumed 2.220s CPU time.
Apr 03 18:05:09 pve systemd[1]: Reached target Shutdown.
Apr 03 18:05:09 pve systemd[1]: Reached target Final Step.
Apr 03 18:05:09 pve systemd[1]: systemd-poweroff.service: Succeeded.
Apr 03 18:05:09 pve systemd[1]: Finished Power-Off.
Apr 03 18:05:09 pve systemd[1]: Reached target Power-Off.
Apr 03 18:05:09 pve systemd[1]: Shutting down.
Apr 03 18:05:09 pve systemd-shutdown[1]: Syncing filesystems and block devices.
Apr 03 18:05:09 pve systemd-shutdown[1]: Sending SIGTERM to remaining processes...
Apr 03 18:05:09 pve systemd-journald[399]: Journal stopped

RobertMe schreef op dinsdag 4 april 2023 @ 14:21:
[...]

Is het niet een kernel panic? Als je de aan/uit knop indrukt zou die natuurlijk weer moeten functioneren als die in slaapstand was, is dat ook het geval? En/of sluit die af als je de aan/uit knop gebruikt? (Dan zou die dus nog gewoon draaien en op basis van ACPI netjes afsluiten).

NUC is niet meer uitgegaan geweest sinds toen, maar drukken op de aan/uit knop heb ik ondertussen wel geprobeerd. Als die aan staat en ik druk op de knop dan gaat die gewoon volledig uit. Als ik terug op de knop druk dan springt die gewoon terug aan.

[Airw0lf]

Afgelopen week wat zaken aangepast in de netwerk config van een Proxmox server.
Daarbij is o.a. de naam van een netwerk poort omgezet van vmbr1 naar vmbr0.

Sindsdien zie ik bij pihole per uur enkele 100-den DNS A aanvragen binnenkomen voor vmbr1.itv.lan en vmbr1.staging.itv.lan.

Voor zover ik heb kunnen achterhalen lijkt dat samen te hangen met de SMB-mounts: zet ik die op disabled, dan stoppen die DNS aanvragen ook.
Dat disablen doe ik met pvesm:

code:

/usr/sbin/pvesm set <SMB-mount> --disable 1

.

Ik heb de SMB-mounts al eens verwijderd, een reboot gedaan en weer opnieuw aangemaakt. Maar het fenomeen was daarna gelijk weer terug.

De network config ziet er alsvolgt uit:

code:

# management port
auto vmbr0
iface vmbr0 inet dhcp
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094

# staging vlan
auto vmbr0.1010
iface vmbr0.1010 inet dhcp
        vlan-id 1010
        vlan-raw-device vmbr0

# mirror port
auto vmbr1
iface vmbr1 inet manual
        bridge-ports enp3s0f1
        bridge-stp off
        bridge-fd 0
        bridge-ageing 0

De relevante Samba onderdelen in storage.cfg:

code:

cifs: backup-only
        path /mnt/pve/backup-only
        server mouse.itv.lan
        share Backup
        content images,backup
        prune-backups keep-last=3
        subdir /proxmox/the-neb
        username <naam>

cifs: vm-images
        path /mnt/pve/vm-images
        server logos.itv.lan
        share vm-images
        content iso,rootdir,vztmpl,snippets,images,backup
        prune-backups keep-last=3
        username <naam>

En via df -h zie ik beiden terugkomen:

code:

//mouse.itv.lan/Backup/proxmox/the-neb   17T  6.7T  9.6T  42% /mnt/pve/backup-only
//logos.itv.lan/vm-images               3.6T  952G  2.7T  26% /mnt/pve/vm-images

Iemand een idee wat er aan de hand zou kunnen zijn?

[ Voor 22% gewijzigd door Airw0lf op 08-04-2023 23:52 ]

[powerboat]

Airw0lf schreef op zaterdag 8 april 2023 @ 23:29:
Afgelopen week wat zaken aangepast in de netwerk config van een Proxmox server.
Daarbij is o.a. de naam van een netwerk poort omgezet van vmbr1 naar vmbr0.

Sindsdien zie ik bij pihole per uur enkele 100-den DNS A aanvragen binnenkomen voor vmbr1.itv.lan en vmbr1.staging.itv.lan.

Voor zover ik heb kunnen achterhalen lijkt dat samen te hangen met de SMB-mounts: zet ik die op disabled, dan stoppen die DNS aanvragen ook.
Dat disablen doe ik met pvesm:

code:

/usr/sbin/pvesm set <SMB-mount> --disable 1

.

Ik heb de SMB-mounts al eens verwijderd, een reboot gedaan en weer opnieuw aangemaakt. Maar het fenomeen was daarna gelijk weer terug.

De network config ziet er alsvolgt uit:

code:

# management port
auto vmbr0
iface vmbr0 inet dhcp
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094

# staging vlan
auto vmbr0.1010
iface vmbr0.1010 inet dhcp
        vlan-id 1010
        vlan-raw-device vmbr0

# mirror port
auto vmbr1
iface vmbr1 inet manual
        bridge-ports enp3s0f1
        bridge-stp off
        bridge-fd 0
        bridge-ageing 0

De relevante Samba onderdelen in storage.cfg:

code:

cifs: backup-only
        path /mnt/pve/backup-only
        server mouse.itv.lan
        share Backup
        content images,backup
        prune-backups keep-last=3
        subdir /proxmox/the-neb
        username <naam>

cifs: vm-images
        path /mnt/pve/vm-images
        server logos.itv.lan
        share vm-images
        content iso,rootdir,vztmpl,snippets,images,backup
        prune-backups keep-last=3
        username <naam>

En via df -h zie ik beiden terugkomen:

code:

//mouse.itv.lan/Backup/proxmox/the-neb   17T  6.7T  9.6T  42% /mnt/pve/backup-only
//logos.itv.lan/vm-images               3.6T  952G  2.7T  26% /mnt/pve/vm-images

Iemand een idee wat er aan de hand zou kunnen zijn?

Je gebruikt in de vmbr0 bridge-vlans-aware yes en bij de vmbr1 niet. Wellicht heeft het daar iets mee te maken.

[stormfly]

Airw0lf schreef op zaterdag 8 april 2023 @ 23:29:
Afgelopen week wat zaken aangepast in de netwerk config van een Proxmox server.
Daarbij is o.a. de naam van een netwerk poort omgezet van vmbr1 naar vmbr0.

Sindsdien zie ik bij pihole per uur enkele 100-den DNS A aanvragen binnenkomen voor vmbr1.itv.lan en vmbr1.staging.itv.lan.

Voor zover ik heb kunnen achterhalen lijkt dat samen te hangen met de SMB-mounts: zet ik die op disabled, dan stoppen die DNS aanvragen ook.
Dat disablen doe ik met pvesm:

code:

/usr/sbin/pvesm set <SMB-mount> --disable 1

.

Ik heb de SMB-mounts al eens verwijderd, een reboot gedaan en weer opnieuw aangemaakt. Maar het fenomeen was daarna gelijk weer terug.

De network config ziet er alsvolgt uit:

code:

# management port
auto vmbr0
iface vmbr0 inet dhcp
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094

# staging vlan
auto vmbr0.1010
iface vmbr0.1010 inet dhcp
        vlan-id 1010
        vlan-raw-device vmbr0

# mirror port
auto vmbr1
iface vmbr1 inet manual
        bridge-ports enp3s0f1
        bridge-stp off
        bridge-fd 0
        bridge-ageing 0

De relevante Samba onderdelen in storage.cfg:

code:

cifs: backup-only
        path /mnt/pve/backup-only
        server mouse.itv.lan
        share Backup
        content images,backup
        prune-backups keep-last=3
        subdir /proxmox/the-neb
        username <naam>

cifs: vm-images
        path /mnt/pve/vm-images
        server logos.itv.lan
        share vm-images
        content iso,rootdir,vztmpl,snippets,images,backup
        prune-backups keep-last=3
        username <naam>

En via df -h zie ik beiden terugkomen:

code:

//mouse.itv.lan/Backup/proxmox/the-neb   17T  6.7T  9.6T  42% /mnt/pve/backup-only
//logos.itv.lan/vm-images               3.6T  952G  2.7T  26% /mnt/pve/vm-images

Iemand een idee wat er aan de hand zou kunnen zijn?

Kijk eens in je hosts file? Daar zou je ze op kunnen nemen dan lost het OS het zelf op.

Of even naar je SMB config kijken of je daar slechts 1 interface toe kan wijzen/aanpassen?

[Airw0lf]

stormfly schreef op zondag 9 april 2023 @ 11:46:
[...]

Kijk eens in je hosts file? Daar zou je ze op kunnen nemen dan lost het OS het zelf op.

Of even naar je SMB config kijken of je daar slechts 1 interface toe kan wijzen/aanpassen?

Dat laatste was het dus: die stond nog op vmbr1 => omgezet naar vmbr0 en vmbr0.*.
Daarna was dit verdwenen.

Unne dikke merci!

[ Voor 3% gewijzigd door Airw0lf op 09-04-2023 19:16 ]

[Airw0lf]

powerboat schreef op zondag 9 april 2023 @ 08:01:
[...]

Je gebruikt in de vmbr0 bridge-vlans-aware yes en bij de vmbr1 niet. Wellicht heeft het daar iets mee te maken.

De betreffende poort wordt gebruikt als monitor/mirror poort voor een packet analyzer.
Daar horen geen vlans bij. En dus ook geen "vlan aware".

Niettemin: unne dikke merci voor het meedenken!

[Limbeckx]

Heeft iemand hier meerdere vm's uit proxmox en proxmox ui zelf via subdomains naar buiten toe open? Ik heb dat nu bij TrueNAS scale.

Via cloudflare and treafik heb ik alleen poort 443 open. Cloudflare doet naar subdomein afhandelen waarbij de Truenas poort 444 naar truenas.domein.nl wordt gemapt. terwijl home-assistant.domein.nl naar de poort voor home-assistant wordt geroute.

Wat ik vervelend vind bij TrueNas Scale is dat andere de apps beheren en als die het niet beschikbaar maken, kan ik de apps niet gebruiken + het feit dat het er geen home assistant supervisor beschikbaar is.

Ik kan achter op het internet niet direct een antwoord geven hoe ik met proxmox ook voor elkaar krijg dat verschillende vm's op verschillende sub domeinen bereikbaar zijn. Liefst zonder dat ik al die poorten moet open zetten. Heeft iemand hier ervaring mee?

[dcm360]

Wat je zoekt is denk ik een reverse proxy, en dat heeft verder weinig te maken met Proxmox. Zelf gebruik ik er nginx voor in een container.

[nero355]

Limbeckx schreef op dinsdag 11 april 2023 @ 15:19:
Heeft iemand hier meerdere vm's uit proxmox en proxmox ui zelf via subdomains naar buiten toe open?
Ik heb dat nu bij TrueNAS scale.

Dat is toch een DIY NAS distro

Via cloudflare and treafik heb ik alleen poort 443 open. Cloudflare doet naar subdomein afhandelen waarbij de Truenas poort 444 naar truenas.domein.nl wordt gemapt. terwijl home-assistant.domein.nl naar de poort voor home-assistant wordt geroute.

Als je al [Traefik - Proxy/Loadbalancer] Ervaringen & Discussie hebt draaien dan zou dit :

Ik kan achter op het internet niet direct een antwoord geven hoe ik met proxmox ook voor elkaar krijg dat verschillende vm's op verschillende sub domeinen bereikbaar zijn.
Liefst zonder dat ik al die poorten moet open zetten.

Heeft iemand hier ervaring mee?

Toch geen probleem mogen zijn

- Je mapt een hoop domeinen naar je IP adres.
- Traefik vangt ze allemaal op via poort 443
- En dan maak je binnen Traefik iets van Virtual Hosts aan voor elk intern IP adres van elke VM die extern bereikbaar moet zijn.

KLAAR!!!

Wat ik vervelend vind bij TrueNas Scale is dat andere de apps beheren en als die het niet beschikbaar maken, kan ik de apps niet gebruiken + het feit dat het er geen home assistant supervisor beschikbaar is.

Ik heb geen idee wat je daarmee bedoelt eerlijk gezegd...?!

dcm360 schreef op dinsdag 11 april 2023 @ 15:43:
Wat je zoekt is denk ik een reverse proxy, en dat heeft verder weinig te maken met Proxmox.
Zelf gebruik ik er nginx voor in een container.

Die heeft hij al : Traefik

[ Voor 8% gewijzigd door nero355 op 11-04-2023 15:48 ]

[lithoijen]

Ik zou het waarderen als jullie kunnen meedenken over het probleem dat ik ervaar met een Opnsense VM die draait onder een verse Proxmox setup. De Opnsense router crashed regelmatig, hierdoor raakt vervolgens het bestand systeem van het opnsense systeem beschadigd en stopt e.e.a. met functioneren. De eerste keer gaf ik mijzelf de schuld, flink balen, want ik was net klaar met de setup en had nog geen backup gemaakt.

Poging 2 nu met ZFS ipv UFS in de hoop een wat robuster systeem te krijgen. Alles weer geinstalleerd en nu netjes een backup gemaakt. Vanmorgen weer hetzelfde probleem.

Wat lijkt te gebeuren is dat de Opnsense machine met regelmaat crashed, dit gaat af en toe samen met een verrot filesystem wat het opstarten vervolgens onmogelijk maakt. De crash lijkt niet door de fout in het filesystem te komen, ik heb in de periode van een uur of 2 al twee crashes gezien zonder dat het filesystem stuk leek te zijn.

Als leek denk ik voor nu dat het niet aan de SSD of aan het geheugen ligt, dit omdat andere VM's en de Proxmox host geen problemen lijken te ondervinden. Maar wat dan wel? Zowel Proxmox en Opensense waren compleet bijgewerkt en schoon geïnstalleerd. Belasting van het systeem was minimaal.

Ik verdenk nu onderstaande zaken, maar zonder dat ik dit kan onderbouwen:

- Ik heb de governor van performance naar powersave gezet dmv (intel_pstate driver) in de proxmox host
- Er wordt na het opstarten een powertop --auto-tune gedraaid op de host

Maar ik vind mijn probleem ook lijken op wat op dit opnsense forum geschetst wordt. Als ik het goed lees dient er een update van de Intel Microcode worden uitgevoerd. Maar waarom hebben proxmox en de andere VM's daar dan geen last van?

Iemand een idee hoe ik het troubleshooten het beste kan aan pakken? Dat kan overigens pas van het weekend ivm een dienstreis.

Gebruikte hardware: een barebone systeem met:
- Core I5 8250U, RS36,
- 6 x I211 Gigabit network (intel)
- Samsung servergrade sata SSD
- Crucial RAM CT2K16G4SFRA266 32GB (2x16GB) DDR4 2666 MHz CL19

[Theone098]

opgelost...

[ Voor 96% gewijzigd door Theone098 op 11-04-2023 17:39 ]

[nero355]

lithoijen schreef op dinsdag 11 april 2023 @ 16:04:
Ik zou het waarderen als jullie kunnen meedenken over het probleem dat ik ervaar met een Opnsense VM die draait onder een verse Proxmox setup. De Opnsense router crashed regelmatig, hierdoor raakt vervolgens het bestand systeem van het opnsense systeem beschadigd en stopt e.e.a. met functioneren.

Één van de belangrijkste dingen is alle Offloading van de Virtuele NIC's uit te schakelen dus heb je dat al gedaan

Of geef je NIC's door via VT-D in dit geval ?

Als leek denk ik voor nu dat het niet aan de SSD of aan het geheugen ligt, dit omdat andere VM's en de Proxmox host geen problemen lijken te ondervinden.

Maar wat dan wel?

Dan moet je naar de verschillen tussen die VM's op zoek gaan

Ik verdenk nu onderstaande zaken, maar zonder dat ik dit kan onderbouwen:

- Ik heb de governor van performance naar powersave gezet dmv (intel_pstate driver) in de proxmox host
- Er wordt na het opstarten een powertop --auto-tune gedraaid op de host

Ik vind dat soort dingen eigenlijk iets wat je niet moet doen en de boel beter lekker kan laten voor wat het is en vooral als ik de voornamelijk negatieve ervaringen in dit topic lees op het moment dat men daaraan begint...

Maar ik vind mijn probleem ook lijken op wat op dit opnsense forum geschetst wordt. Als ik het goed lees dient er een update van de Intel Microcode worden uitgevoerd.

Maar waarom hebben proxmox en de andere VM's daar dan geen last van?

Je zou eens kunnen kijken wat er gebeurt als je OPNsense gewoon direct op dat kastje draait, want in principe vind ik het geen gek verhaal omdat ik in het verleden wel vaker VM's heb gezien die niet houden van een CPU die constant zijn frequentie aanpast en helemaal in de war raken!

Waarom dat dan ineens via een firmware update van de CPU wordt opgelost is mij echter een raadsel...

Iemand een idee hoe ik het troubleshooten het beste kan aan pakken?

Draai het direct op de hardware en kijk daarna eens verder zou ik zeggen

En heb je al MemTest86+ laten draaien voor laten we zeggen minimaal 3 volle keren achter elkaar ?

[htca]

Limbeckx schreef op dinsdag 11 april 2023 @ 15:19:
Heeft iemand hier meerdere vm's uit proxmox en proxmox ui zelf via subdomains naar buiten toe open? Ik heb dat nu bij TrueNAS scale.

Via cloudflare and treafik heb ik alleen poort 443 open. Cloudflare doet naar subdomein afhandelen waarbij de Truenas poort 444 naar truenas.domein.nl wordt gemapt. terwijl home-assistant.domein.nl naar de poort voor home-assistant wordt geroute.

Wat ik vervelend vind bij TrueNas Scale is dat andere de apps beheren en als die het niet beschikbaar maken, kan ik de apps niet gebruiken + het feit dat het er geen home assistant supervisor beschikbaar is.

Ik kan achter op het internet niet direct een antwoord geven hoe ik met proxmox ook voor elkaar krijg dat verschillende vm's op verschillende sub domeinen bereikbaar zijn. Liefst zonder dat ik al die poorten moet open zetten. Heeft iemand hier ervaring mee?

Ik heb een nginx proxy als LXC draaien. Die handelt dat allemaal af.

[lithoijen]

@nero355 Bedankt voor het meedenken!

Één van de belangrijkste dingen is alle Offloading van de Virtuele NIC's uit te schakelen dus heb je dat al gedaan Of geef je NIC's door via VT-D in dit geval ?
Volgens mij staat hardware offloading standaard uit, maar dat ga ik controleren. NIC's zijn doorgezet naar de VM inderdaad.

Dan moet je naar de verschillen tussen die VM's op zoek gaan
Dat lijstje is best lang, ander OS, andere software, andere belasting, maar ook andere hardware (geen NIC's doorgezet)

Ik vind dat soort dingen eigenlijk iets wat je niet moet doen en de boel beter lekker kan laten voor wat het is en vooral als ik de voornamelijk negatieve ervaringen in dit topic lees op het moment dat men daaraan begint...
Tja beetje zuinig omgaan met energie vind ik in de huidige tijd toch ook wel belangrijk, bovendien lees ik ook succes verhalen. Maar ik snap je punt, ik zal eens experimenteren met de normale instellingen.

Je zou eens kunnen kijken wat er gebeurt als je OPNsense gewoon direct op dat kastje draait, want in principe vind ik het geen gek verhaal omdat ik in het verleden wel vaker VM's heb gezien die niet houden van een CPU die constant zijn frequentie aanpast en helemaal in de war raken!
Dan ben ik alle voordelen van virtualiseren kwijt, beetje vreemd advies trouwens in een proxmox topic Maar als experiment wel een idee dan kan ik wel een en ander uitsluiten

Waarom dat dan ineens via een firmware update van de CPU wordt opgelost is mij echter een raadsel...
Voor mij ook, maar het zou wel fijn zijn als het helpt. Ik hoopte eigenlijk dat een man of drie hier zouden zeggen dat dit voor hun de oplossing was

En heb je al MemTest86+ laten draaien voor laten we zeggen minimaal 3 volle keren achter elkaar ?
Nee zal het op mijn troubleshoot lijstje erbij zetten, maar zelfs als het geheugen rot zou zijn, waarom dan niet de host of andere VM's?

Ik vrees voor uren puzzelen, dat had ik graag anders gezien, goede tips in iedergeval.

[orvintax]

Limbeckx schreef op dinsdag 11 april 2023 @ 15:19:
Wat ik vervelend vind bij TrueNas Scale is dat andere de apps beheren en als die het niet beschikbaar maken, kan ik de apps niet gebruiken + het feit dat het er geen home assistant supervisor beschikbaar is.

Offtopic: Je kunt catalogs (charts) toevoegen binnenin TrueNAS Scale, de grote bekende is TrueCharts welke heel veel community provided charts heeft. Maar je kunt die ook zelf maken, of direct een Docker image draaien. Dus je bent niet gelimiteerd door de Charts/Apps van IXSystems zelf.

Daarnaast heeft Truecharts een "Custom App" en "Docker Compose" chart waardoor je ook weer extra mogelijkheden hebt.

[ Voor 8% gewijzigd door orvintax op 11-04-2023 20:50 ]

[nero355]

lithoijen schreef op dinsdag 11 april 2023 @ 20:12:
Dan ben ik alle voordelen van virtualiseren kwijt, beetje vreemd advies trouwens in een proxmox topic
Maar als experiment wel een idee dan kan ik wel een en ander uitsluiten.

Ik vrees voor uren puzzelen, dat had ik graag anders gezien, goede tips in iedergeval.

Soms moet je rare dingen doen om het een en ander uit te sluiten helaas...

[lithoijen]

@nero355 Ondertussen heb ik wat tijd gehad om te troubleshooten:
- Offloading van de NIC's staat en stond uit in Opnsense
- Energie besparende opties weer uit gezet: governor naar performance, geen powertop
- MemTest86+ lijkt goed te gaan, heeft nu 2x de test volledig succesvol doorlopen

Nog steeds crashes, al merk ik nu dat heel het systeem onderuit gaat, niet alleen de opnsense vm. Nu heb ik wat geëxperimenteerd in Proxmox. Ik heb stress geïnstalleerd, zodra ik de cpu flink aan het werk zet crashed de machine. 1 of 2 kernen gaat vaak nog wel goed, 8 kernen is per definitie foute boel en triggert een restart binnen luttele seconden.

Ok ik heb dus een hardware probleem, maar wat dan?
Voeding is meteen verdacht want no name chinees ding. Specificaties 12v 10A. Al metend met een multimeter lijkt de spanning, ook onder belasting ok. Maar met mijn multimeter meet ik natuurlijk alleen een gemiddelde spanning, dat zegt ook niet alles.

Temperatuur lijkt het niet te zijn, als ik die uitlees zit de cpu temperatuur rond de 37 graden.

Zou het ook nog de barebone zelf kunnen zijn? Iemand nog een idee hoe ik verder kan gaan met het troubleshooten?

[ Voor 4% gewijzigd door lithoijen op 15-04-2023 12:55 ]

[nero355]

lithoijen schreef op zaterdag 15 april 2023 @ 12:44:
Ik heb stress geïnstalleerd, zodra ik de cpu flink aan het werk zet crashed de machine. 1 of 2 kernen gaat vaak nog wel goed, 8 kernen is per definitie foute boel en triggert een restart binnen luttele seconden.

Ok ik heb dus een hardware probleem, maar wat dan?

Temperatuur lijkt het niet te zijn, als ik die uitlees zit de cpu temperatuur rond de 37 graden.

Ook als die 100% onder LOAD staat

[lithoijen]

nero355 schreef op zaterdag 15 april 2023 @ 17:05:
[...]

Ook als die 100% onder LOAD staat

Waarschijnlijk wel, dat houd hij namelijk niet vol, hij reboot dan meteen.
Bij een lage belasting blijven de temperaturen wel netjes rond de eerder genoemde 37 graden schommelen, zware loads kan ik dus niet testen, dan klapt hij er meteen uit.

Ondertussen een andere adapter geprobeerd, maar hetzelfde issue. Ik ga een garantie afhandeling aanvragen.

Bedankt voor het meedenken!

[ Voor 23% gewijzigd door lithoijen op 15-04-2023 17:15 ]

[nero355]

lithoijen schreef op zaterdag 15 april 2023 @ 17:14:
Ondertussen een andere adapter geprobeerd, maar hetzelfde issue. Ik ga een garantie afhandeling aanvragen.

Als je dat ding net hebt gekocht dan is dat simpelweg de beste optie!

[lithoijen]

nero355 schreef op zaterdag 15 april 2023 @ 17:18:
[...]

Als je dat ding net hebt gekocht dan is dat simpelweg de beste optie!

Dat niet, maar wel ruim binnen de 2 jaar garantie, ga er daarmee vanuit dat dat goed komt.

[Koepert]

Fuuu..

Ik kan wel wat advies gebruiken. Ik weet dat er van alles van mijn inrichting te vinden is, maar dat weet ik zelf ook wel. Dit is wat ik heb..

Ik heb bedacht een cluster te gaan gebruiken van proxmox.

Alles is SINGLE DISK..
Node1: 1 Host: HDD met Pihole, traefik, Home Assistant Dell Optiplex
Node2: 1 host met SDD met Adguard en thats it HP EliteDesk mini PC
Node3: 1 host met SDD met niets puur voor Quorum (oude laptop op zolder)

Node1 is het oudste en daar ben ik de cluster mee gestart. Heb inmiddels 2x een 512SSD in huis, waarvan ik 1 in node2 heb gedaan ter vervanging van HDD daar. Maar.. De 2e SSD Zou in Node1.

Alleen nu is de WebGUI niet meer te benaderen. De containers werken nog en zijn individueel nog via SSH te benaderen. Dus ik denk dat de HDD aan t sterven is en de partitie met de GUI als eerste defect gaat.

Maar nu komt t stukje adviesvraag:

Hoe kan ik nu beste die Node1 voorzien van de SSD? (en dan niet technisch, maar qua software/volgorde)

K heb deze gelezen: https://pve.proxmox.com/p...ml#_remove_a_cluster_node

Maar ik heb dus 3 guests draaien (die het dus alle 3 nog doen, alleen de PiHole liet overmatige belasting zien) waar ik via GUI niets mee kan. Nu heb ik op Node2 al een spare PiHole opgespint met de back-up van die op Node1 en die op node1 uitgezet, en met de LXC van Traefik moet dat vast ook lukken.. HA heb ik een back-up van (die ik niet 100% vertrouw, maar daar is niets meer aan te doen. Maar in principe, als de 3 guests dus complete de nek om gedraaid worden....kan.. ik daar mee leven. Maar liever zie ik n andere oplossing. Ik heb nog geen scherm/toetsenbord aangesloten, maar heb evt wel die mogelijkheid.

Wat zouden jullie adviseren om eigenlijk straks dus weer een cluster van 3 nodes te hebben met 3x een SSD. Grappige is dat ik dit cluster zo gedaan had om dan VM/CT te kunnen migreren tijdelijk, host te updaten en dan terugmigreren, maar geen mogelijkheid had (en nog steeds niet heb) voor shared storage en de HA component van een cluster minder ' nodig' vond..

[nero355]

@Koepert

Je kan toch die HDD op een SSD clonen

Let alleen wel effe op je alignment van de SSD

[Koepert]

nero355 schreef op zondag 16 april 2023 @ 20:14:
@Koepert

Je kan toch die HDD op een SSD clonen

Let alleen wel effe op je alignment van de SSD

Mm.. fair point.. Clonezilla live nog steeds prefered for dit soort acties?

[nero355]

Koepert schreef op zondag 16 april 2023 @ 21:46:
Mm.. fair point.. Clonezilla live nog steeds prefered for dit soort acties?

Ik zou zeggen probeer het eens en laat effe weten hoe het beviel... of niet!

[powerboat]

Koepert schreef op zondag 16 april 2023 @ 21:46:
[...]


Mm.. fair point.. Clonezilla live nog steeds prefered for dit soort acties?

Je kan ook de machines migreren naar de andere hypervisor.

De oude uit het cluster halen, opnieuw installeren en weer toevoegen (gebruik andere naam).

[Woodski]

Wie weet hoe je de cpulimit van een VM via de shell kan aanpassen?
Het kan via de webinterface maar ik zoek het dus via de shell

[powerboat]

Woodski schreef op maandag 17 april 2023 @ 17:58:
Wie weet hoe je de cpulimit van een VM via de shell kan aanpassen?
Het kan via de webinterface maar ik zoek het dus via de shell

Domme vraag Maar waarom wil je de cpulimit van een vm aanpassen?

Dit had mijn voorganger bij mijn vorige werkgever een keer gedaan bij een machine. Dat heeft me destijds dagen gekost waarom dat ding zo sloom was ook al had ik meer cores toegevoegd.

[Koepert]

powerboat schreef op maandag 17 april 2023 @ 07:06:
[...]


Je kan ook de machines migreren naar de andere hypervisor.

De oude uit het cluster halen, opnieuw installeren en weer toevoegen (gebruik andere naam).

Ja dat is dus t probleem. Dat kan ik via de webGUI.. maar die functioneert dus niet meer.. ik weet niet of het via CLI ook kan? Dan hou ik me aanbevolen.

[powerboat]

Koepert schreef op maandag 17 april 2023 @ 18:16:
[...]


Ja dat is dus t probleem. Dat kan ik via de webGUI.. maar die functioneert dus niet meer.. ik weet niet of het via CLI ook kan? Dan hou ik me aanbevolen.

Als je een cluster hebt kun je via een ander hypervisor je defecte hypervisor ook bedienen. Anders is er meer mis.

Via cli kan dat met "qm migrate" moet je maar even googlen of in de handleiding kijken

[ Voor 11% gewijzigd door powerboat op 17-04-2023 18:35 ]

[Woodski]

powerboat schreef op maandag 17 april 2023 @ 18:04:
[...]


Domme vraag Maar waarom wil je de cpulimit van een vm aanpassen?

Dit had mijn voorganger bij mijn vorige werkgever een keer gedaan bij een machine. Dat heeft me destijds dagen gekost waarom dat ding zo sloom was ook al had ik meer cores toegevoegd.

Omdat ik die VM tijden peak hours wil afknijpen
CPU units geeft me niet voldoende ruimte
CPU limit wel maar die wil ik dus schedulen

[nero355]

powerboat schreef op maandag 17 april 2023 @ 18:04:
Dit had mijn voorganger bij mijn vorige werkgever een keer gedaan bij een machine.
Dat heeft me destijds dagen gekost waarom dat ding zo sloom was ook al had ik meer cores toegevoegd.

Onder het motto "Location, location, location!" => Documentation, documentation, documentation!

[Koepert]

powerboat schreef op maandag 17 april 2023 @ 18:31:
[...]


Als je een cluster hebt kun je via een ander hypervisor je defecte hypervisor ook bedienen. Anders is er meer mis.

Via cli kan dat met "qm migrate" moet je maar even googlen of in de handleiding kijken

Ik kan er momenteel nog geen monitor op aansluiten (ben dus ook proberen alles veilig te stellen tussen werk en leven door ) maar dit zie ik vanaf de GUI van een ANDERE host in t cluster (de webGUI van de host time-out)

[zeroday]

Koepert schreef op maandag 17 april 2023 @ 21:17:
[...]


Ik kan er momenteel nog geen monitor op aansluiten (ben dus ook proberen alles veilig te stellen tussen werk en leven door ) maar dit zie ik vanaf de GUI van een ANDERE host in t cluster (de webGUI van de host time-out)

[Afbeelding]

euh dat is nu het mooie van het hebben van een cluster, je kan hier gewoon rechtermuis doen en dan migrate (op de machine die je wilt migreren).. (moet je natuurlijk wel dezelfde soort storage hebben).

Ik heb vandaag een NUC in mijn cluster gehangen, van het weekend een NFS storage aangemaakt zodat ik de data van de hosts af kan krijgen en ik dan ook wat makkelijker HA kan opzetten.


Zometeen 2 HP gen 8 microservers uit en daarvoor een NUC in de plaats. Daarna nog een NUC zoeken en dan de laatste HP microserver ook uitfaseren ..

[powerboat]

nero355 schreef op maandag 17 april 2023 @ 21:06:
[...]

Onder het motto "Location, location, location!" => Documentation, documentation, documentation!

Tja ... I rest my case

[Cyphax]

zeroday schreef op maandag 17 april 2023 @ 22:06:
[...]

Zometeen 2 HP gen 8 microservers uit en daarvoor een NUC in de plaats. Daarna nog een NUC zoeken en dan de laatste HP microserver ook uitfaseren ..

Wat hebben die nucs voor voordelen boven de microservers? Mijn Proxmox-host is toevallig ook zo'n gen8 met een quad core en 16GB geheugen, en hoewel ie nog voldoet zijn er wel harde grenzen aan, dus ben ik voortdurend nieuwsgierig naar wat alternatieven (en onvermijdelijk een opvolger voor de microserver) aan voordelen bieden.

[powerboat]

Cyphax schreef op dinsdag 18 april 2023 @ 08:26:
[...]

Wat hebben die nucs voor voordelen boven de microservers? Mijn Proxmox-host is toevallig ook zo'n gen8 met een quad core en 16GB geheugen, en hoewel ie nog voldoet zijn er wel harde grenzen aan, dus ben ik voortdurend nieuwsgierig naar wat alternatieven (en onvermijdelijk een opvolger voor de microserver) aan voordelen bieden.

Ik denk ILO op de gen8, gen10 heeft dit niet meer (standaard).