Het grote Proxmox VE topic

[SonnyBBQ]

marcel19 schreef op woensdag 30 augustus 2023 @ 10:33:
[...]


Heb je binnen Proxmox je e-mail adres toegevoegd voor meldingen oid?
Want dat zou het kunnen verklaren. (Vind het nog veel, maar het is een idee)

Bedankt voor het meedenken. Maar dit lijkt het probleem jammer genoeg ook niet te zijn.
Ik had inderdaad mijn email ingesteld. Heb dit verwijderd en dan een reboot gedaan, maar de queries blijven.

[Airw0lf]

marcel19 schreef op woensdag 30 augustus 2023 @ 10:13:
Ik heb sinds gisteren een upgrade gedaan met mijn Proxmox server.
Ik heb daarbij 4X harde schijven toegevoegd in mijn Openmediavault VM.

Ik heb alle 4 de harde schijven in passtrough gezet, en op dit moment is OMV een software raid aan het maken. (Dit is de eerste keer dat ik een raid maak in OMV)

Nou zit ik met een paar dingen:

1. De status van de installatie is nu: clean, resyncing (31.4% (1841359864/5860390400) finish=1293.1min speed=51797K/sec)
Is dat goed, of is dat traag?

2. Sinds ik Proxmox gebruik, zie ik dat de IO Delay op en neer springt van 20% naar 99%. Komt dat door de raid-build?

3. Het volledige systeem vertraagt ​​wanneer de Raid-build actief is. Kan ik iets doen om het te vergroten?

4. De specificaties die ik aan OMV binnen Proxmox heb gegeven, zijn: 2 cores (Host) / 8GB geheugen. Is dit voldoende, of moet ik verhogen?

5. Ik zie binnen OMV dat ik geen status kan uitlezen van de harde schijven. Alles staat op unknow zoals Temperatuur en smartwaardes.

Ik begeef me nu enigszins op glad ijs... maar passthrough wil toch zeggen dat één VM de raid array kan aanspreken alsof het DAS is. Is dat handig als er andere onderdelen van de server zijn die van diezelfde raid array gebruik willen maken? Bijvoorbeeld Proxmox zelf of een andere VM/LXC-container?

[marcel19]

SonnyBBQ schreef op woensdag 30 augustus 2023 @ 10:40:
[...]


Bedankt voor het meedenken. Maar dit lijkt het probleem jammer genoeg ook niet te zijn.
Ik had inderdaad mijn email ingesteld. Heb dit verwijderd en dan een reboot gedaan, maar de queries blijven.

En als je nou een je Proxmox helemaal uitzet? Of heb je Pi-Hole draaien op je Proxmox?

[marcel19]

Airw0lf schreef op woensdag 30 augustus 2023 @ 10:54:
[...]


Ik begeef me nu op enigszins op glad ijs... maar passthrough wil toch zeggen dat één VM de raid array kan aanspreken alsof het DAS is. Is dat handig als er andere onderdelen van de server zijn die van diezelfde raid array gebruik willen maken? Bijvoorbeeld Proxmox zelf of een andere VM/LXC-container?

Goeie vraag, maar nee. In dit geval is Openmediavault mijn NAS welke de disks dus volledig moet beheren.
Andere VM's in mijn server maken gebruik van andere HDD/SSD schijven

Dus die gehele array is voor OMV bedoeld

[SonnyBBQ]

marcel19 schreef op woensdag 30 augustus 2023 @ 10:55:
[...]


En als je nou een je Proxmox helemaal uitzet? Of heb je Pi-Hole draaien op je Proxmox?

Dan stoppen de queries ook. Pi-Hole draait apart.

[Airw0lf]

marcel19 schreef op woensdag 30 augustus 2023 @ 10:55:
[...]


Goeie vraag, maar nee. In dit geval is Openmediavault mijn NAS welke de disks dus volledig moet beheren.
Andere VM's in mijn server maken gebruik van andere HDD/SSD schijven

Dus die gehele array is voor OMV bedoeld

Ah - ok - dank je voor de toelichting.

Ik gebruik voor de VM's nog wat performance tweaks:
- Memory ballooning uitschakelen => kan alleen als je genoeg geheugen hebt
- Processors van het type host (versus default)
- Wat testen doen met de diskinstellingen van de VM (zie afbeelding met de mogelijkheden)

[Cardinal]

Ik heb soms een probleem met mijn CIFS shares.

code:

Aug 30 20:36:09 plex systemd[1]: Mounting Plex Media Server files...
Aug 30 20:36:09 plex mount[115]: mount error(101): Network is unreachable
Aug 30 20:36:09 plex mount[115]: Refer to the mount.cifs(8) manual page (e.g. man mount.cifs) and kernel log messages (dmesg)
Aug 30 20:36:09 plex systemd[1]: mnt-4kfilms.mount: Mount process exited, code=exited, status=32/n/a
Aug 30 20:36:09 plex systemd[1]: mnt-4kfilms.mount: Failed with result 'exit-code'.
Aug 30 20:36:09 plex systemd[1]: Failed to mount Plex Media Server files.

Nou is het vermoeden dat het script al uitvoerd wordt, voordat het netwerk connectie bestaat. Iemand een suggestie hoe op te lossen?

Al toegepast

1. _netdev
2. [Unit] After=network-online.service

[marcel19]

Ik zat eerder met mijn Proxmox server in combinatie met OpenMediaVault + Raid 5: marcel19 in "Het grote Proxmox VE topic"

Maar ik ben van Raid afgestapt want het duurde echt gigantisch lang, en ik had gelezen over ZFS dus daarmee aan de gang.

Eenmaal alles verwijderd te hebben en de plugin van ZFS te hebben geinstaleerd, een ZFS storage aangemaakt in OpenMediaVault en die was direct werkend en up and running. Ik helemaal blij
Helaas duurde die blijdschap niet lang, want het uploaden naar de server ging in het begin van 113 mb/s opeens nog maar 60mb/s (Ruim de helft)

Dus ik vermoede dat ik wat fout gedaan had in mijn instellingen dus ik heb alles verwijderd, Openmediavault opnieuw aangemaakt in Proxmox en de schijven toegewezen voormiddel van Passtrough. maar nog steeds liep ik tegen de zelfde problemen aan. Had al gevraagd op het OpenMediaVault forum wat dit nou kon zijn maar die gaven aan dat het in Proxmox zat (Tuurlijk zou ik ook zeggen)

Dus ik ben gaan testen met andere NAS systemen, ik heb Truenas geinstaleerd op mijn proxmox, net zoals dat ik deed bij OpenMediaVault heb ik de schijven toegewezen via passtrough. En binnen in truenas gekozen voor ZFS net zoals ik deed bij OpenMediaVault. En hopa, volle snelheid uploaden naar de truenas installatie met een constante snelheid van 113 mb/s.

Dus ik weer terug naar OpenMediavault, omdat ik dacht dat er dan iets aan de hand zou zijn met mijn SATA controller en misschien niet compatible. Maar ik besloot om in OpenMediaVault dan een RAID-STRIPE aan te maken om te kijken of dat wel werkt (Heeft geen sync nodig) En ja hoor, zonder problemen constante snelheid van 113 mb/s upload.

Alsnog blijf het forum van OpenMediaVault volhouden dat het probleem zich bevind in Proxmox.
Mij maakt het niet uit waar het probleem zich bevind, als ik het maar opgelost krijg

[orvintax]

marcel19 schreef op woensdag 30 augustus 2023 @ 10:13:
Ik heb sinds gisteren een upgrade gedaan met mijn Proxmox server.
Ik heb daarbij 4X harde schijven toegevoegd in mijn Openmediavault VM.

Ik heb alle 4 de harde schijven in passtrough gezet, en op dit moment is OMV een software raid aan het maken. (Dit is de eerste keer dat ik een raid maak in OMV)

Nou zit ik met een paar dingen:

1. De status van de installatie is nu: clean, resyncing (31.4% (1841359864/5860390400) finish=1293.1min speed=51797K/sec)
Is dat goed, of is dat traag?

2. Sinds ik Proxmox gebruik, zie ik dat de IO Delay op en neer springt van 20% naar 99%. Komt dat door de raid-build?

3. Het volledige systeem vertraagt ​​wanneer de Raid-build actief is. Kan ik iets doen om het te vergroten?

4. De specificaties die ik aan OMV binnen Proxmox heb gegeven, zijn: 2 cores (Host) / 8GB geheugen. Is dit voldoende, of moet ik verhogen?

5. Ik zie binnen OMV dat ik geen status kan uitlezen van de harde schijven. Alles staat op unknow zoals Temperatuur en smartwaardes.

Hoe heb je deze schijven toegevoegd aan je OMV VM?

[marcel19]

orvintax schreef op donderdag 31 augustus 2023 @ 12:37:
[...]

Hoe heb je deze schijven toegevoegd aan je OMV VM?

Had het erbij vermeld:
"Openmediavault opnieuw aangemaakt in Proxmox en de schijven toegewezen voormiddel van Passtrough"

[zweefjr]

Je kunt beter de hele controller waar de schijven op aan gesloten zitten doorgeven aan OMV.

Ik heb hiervoor in het verleden een LSI raid controller die naar IT modus is geflashed voor gebruikt.

[marcel19]

zweefjr schreef op donderdag 31 augustus 2023 @ 13:52:
Je kunt beter de hele controller waar de schijven op aan gesloten zitten doorgeven aan OMV.

Ik heb hiervoor in het verleden een LSI raid controller die naar IT modus is geflashed voor gebruikt.

Heb ik zojuist geprobeerd, maar als dan de VM opstart loopt alles vast en krijgt mijn Proxmox de melding Lockup on cpu2.

Deze zet ik dan door naar de VM als PCI Device.

[nero355]

marcel19 schreef op donderdag 31 augustus 2023 @ 14:56:
Heb ik zojuist geprobeerd, maar als dan de VM opstart loopt alles vast en krijgt mijn Proxmox de melding Lockup on cpu2.

Deze zet ik dan door naar de VM als PCI Device.

[Afbeelding]

Volgens mij was er een probleem bij ASMedia SATA AHCI Controllers die OnBoard op een Moederbord zitten en het doorgeven via VT-D van zo'n Controller omdat die heel maf vast zit aan de Intel SATA AHCI Controller of zo en daardoor niet apart aan te sturen was of zoiets...

Ik weet het exacte verhaal niet meer, maar het kan zijn dat je daar nu mee te maken hebt!

[zweefjr]

Er zitten verder geen sata schijven op die controller die proxmox of een andere vm gebruikt?

[marcel19]

nero355 schreef op donderdag 31 augustus 2023 @ 15:10:
[...]

Volgens mij was er een probleem bij ASMedia SATA AHCI Controllers die OnBoard op een Moederbord zitten en het doorgeven via VT-D van zo'n Controller omdat die heel maf vast zit aan de Intel SATA AHCI Controller of zo en daardoor niet apart aan te sturen was of zoiets...

Ik weet het exacte verhaal niet meer, maar het kan zijn dat je daar nu mee te maken hebt!

Het is een losse sata controller PCI-E in het moederboard geprikt zit.
Dit zijn dus niet de onboard sata poorten.

[marcel19]

zweefjr schreef op donderdag 31 augustus 2023 @ 15:10:
Er zitten verder geen sata schijven op die controller die proxmox of een andere vm gebruikt?

Nee, zoals hierboven ook al aangegeven.
Het is een aparte controller waar deze 4 schijven op zitten.

[nero355]

marcel19 schreef op donderdag 31 augustus 2023 @ 15:13:
Het is een losse sata controller PCI-E in het moederboard geprikt zit.
Dit zijn dus niet de onboard sata poorten.

Maar is het PCIe Slot waar die in zit wel apart door te geven of zit die stiekem samen in een groep met een ander onderdeel van je moederbord ?!

En JA, als je aan VT-D begint dan kan je weleens aan een hele flinke puzzel beginnen!

[zweefjr]

Check, misschien handig om te kijken of iommu goed werkt en actief is.

https://pve.proxmox.com/wiki/PCI_Passthrough

[marcel19]

nero355 schreef op donderdag 31 augustus 2023 @ 15:15:
[...]

Maar is het PCIe Slot waar die in zit wel apart door te geven of zit die stiekem samen in een groep met een ander onderdeel van je moederbord ?!

En JA, als je aan VT-D begint dan kan je weleens aan een hele flinke puzzel beginnen!

Geen idee, kan ik dat ergens vinden?

Het is dit moederboard: uitvoering: ASUS PRIME H510M-A
En hij zit in het onderste slot.

[marcel19]

zweefjr schreef op donderdag 31 augustus 2023 @ 15:17:
Check, misschien handig om te kijken of iommu goed werkt en actief is.

https://pve.proxmox.com/wiki/PCI_Passthrough

code:

root@proxmox:~# dmesg | grep -e DMAR -e IOMMU
[    0.007997] ACPI: DMAR 0x00000000962E0000 000088 (v02 INTEL  EDK2     00000002      01000013)
[    0.008035] ACPI: Reserving DMAR table memory at [mem 0x962e0000-0x962e0087]
[    0.133948] DMAR: Host address width 39
[    0.133949] DMAR: DRHD base: 0x000000fed90000 flags: 0x0
[    0.133954] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap 1c0000c40660462 ecap 19e2ff0505e
[    0.133956] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[    0.133959] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008c40660462 ecap f050da
[    0.133961] DMAR: RMRR base: 0x0000009b000000 end: 0x0000009f7fffff
[    0.133963] DMAR-IR: IOAPIC id 2 under DRHD base  0xfed91000 IOMMU 1
[    0.133964] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[    0.133965] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.135574] DMAR-IR: Enabled IRQ remapping in x2apic mode
root@proxmox:~# dmesg | grep 'remapping'
[    0.133965] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.135574] DMAR-IR: Enabled IRQ remapping in x2apic mode
root@proxmox:~#

Lijkt allemaal netjes goed te staan?

[nero355]

marcel19 schreef op donderdag 31 augustus 2023 @ 15:17:
Geen idee, kan ik dat ergens vinden?

Ik kan me herinneren dat je ergens een overzicht kon vinden, maar ik kan ook in de war zijn met VMWare ESXi

Het is dit moederboard: uitvoering: ASUS PRIME H510M-A
En hij zit in het onderste slot.

Ik zou eens goed de Manual van je moederbord lezen en kijken wat je allemaal met elkaar mag combineren zonder gedoe waarbij je Apparaat X opeens Apparaat Y uitschakelt of qua bandbreedte limiteert als ze tegelijk aanwezig zijn!

Let ook goed op het aantal PCIe Lanes die er beschikbaar zijn i.c.m. een bepaald model CPU/APU

* nero355 koopt daarom ook het liefst nooit kreupele A/B/H/X/Z moederborden en gaat meteen voor HEDT modellen die je alle vrijheid geven qua PCIe Lanes

[ Voor 10% gewijzigd door nero355 op 31-08-2023 15:26 ]

[zweefjr]

Staat in jou bios ook VMX en SR-IOV aan? Ik zie die opties wel in de handleiding van jou mobo.

[marcel19]

nero355 schreef op donderdag 31 augustus 2023 @ 15:24:
[...]

Ik kan me herinneren dat je ergens een overzicht kon vinden, maar ik kan ook in de war zijn met VMWare ESXi


[...]

Ik zou eens goed de Manual van je moederbord lezen en kijken wat je allemaal met elkaar mag combineren zonder gedoe waarbij je Apparaat X opeens Apparaat Y uitschakelt of qua bandbreedte limiteert als ze tegelijk aanwezig zijn!

Let ook goed op het aantal PCIe Lanes die er beschikbaar zijn i.c.m. een bepaald model CPU/APU

* nero355 koopt daarom ook het liefst nooit kreupele A/B/H/X/Z moederborden en gaat meteen voor HEDT modellen die je alle vrijheid geven qua PCIe Lanes

Zo te zien bijt het elkaar niet:

[marcel19]

zweefjr schreef op donderdag 31 augustus 2023 @ 15:27:
Staat in jou bios ook VMX en SR-IOV aan? Ik zie die opties wel in de handleiding van jou mobo.

Dat durf ik niet met zekerheid te zeggen. Heb je zo 1 2 3 een idee waar dat onder verborgen zou staan?
Soms staan dat soort instellingen heel goed verstopt

[nero355]

zweefjr schreef op donderdag 31 augustus 2023 @ 15:27:
Staat in jou bios ook VMX en SR-IOV aan? Ik zie die opties wel in de handleiding van jou mobo.

Hij moet vooral VT-D hebben als het goed is ?!

SR-IOV is een techniek om 1 apparaat door meerdere VM's te laten gebruiken, zoals bijvoorbeeld vaak wordt gedaan met Quadro/FireGL videokaarten zodat je meerdere gebruikers hetzelfde apparaat tegelijk kan laten gebruiken zonder gedoe

marcel19 schreef op donderdag 31 augustus 2023 @ 15:29:
Zo te zien bijt het elkaar niet:
[Afbeelding]

[Afbeelding]

OK, maar nou weet je nog steeds niet :
- Of PCIe #2 blijft werken als een M.2 SSD in gebruik is.
- Of PCIe #2 blijft werken als alle SATA Poorten in gebruik zijn.
- Of PCIe #2 wel door te geven is i.c.m. zowel een Gxxxx CPU/APU als een i3/i5/i7/enz.
- Of PCIe #2 niet stiekem vanuit de Chipset komt i.p.v. de CPU/APU !!
- enz.



En dit is het overzicht wat ik bedoelde : https://www.servethehome....82571EB-Gigabit-Ports.png
Daarbij zie je dus dat je alleen het "Main Device" kan doorgeven en niet een apparaat dat daar apart onder zit IIRC

Dus die twee geselecteerde Netwerkkaarten kan je maar aan één VM koppelen en niet over twee VM's verspreiden!

[ Voor 3% gewijzigd door nero355 op 31-08-2023 15:42 ]

[marcel19]

zweefjr schreef op donderdag 31 augustus 2023 @ 15:27:
Staat in jou bios ook VMX en SR-IOV aan? Ik zie die opties wel in de handleiding van jou mobo.

VMX stond aan en SR-IOV stond uit maar heb ik nu aangezet.
Maar nog steeds het zelfde probleem. Als ik de PCI-E kaart doorgeef aan de VM dan loopt heel de proxmox server vast.

[marcel19]

nero355 schreef op donderdag 31 augustus 2023 @ 15:39:
[...]

Hij moet vooral VT-D hebben als het goed is ?!

SR-IOV is een techniek om 1 apparaat door meerdere VM's te laten gebruiken, zoals bijvoorbeeld vaak wordt gedaan met Quadro/FireGL videokaarten zodat je meerdere gebruikers hetzelfde apparaat tegelijk kan laten gebruiken zonder gedoe


[...]

OK, maar nou weet je nog steeds niet :
- Of PCIe #2 blijft werken als een M.2 SSD in gebruik is.
- Of PCIe #2 blijft werken als alle SATA Poorten in gebruik zijn.
- Of PCIe #2 wel door te geven is i.c.m. zowel een Gxxxx CPU/APU als een i3/i5/i7/enz.
- Of PCIe #2 niet stiekem vanuit de Chipset komt i.p.v. de CPU/APU !!
- enz.



En dit is het overzicht wat ik bedoelde : https://www.servethehome....82571EB-Gigabit-Ports.png
Daarbij zie je dus dat je alleen het "Main Device" kan doorgeven en niet een apparaat dat daar apart onder zit IIRC

Dus die twee geselecteerde Netwerkkaarten kan je maar aan één VM koppelen en niet over twee VM's verspreiden!

Ik kan heel die informatie nergens vinden helaas.
Dan zit er niks anders op dan geen passtrough te gaan gebruiken. Maar om de Schijven op een andere manier aan OMV te koppelen. Maar ik heb geen zin in in een lage transfer rate van maar 60 mb/s

Want zoals ik al aangaf, als ik een VM omspin met bijvoorbeeld Truenas werkt alles probleemloos.
Maar OpenMediaVault vind ik veel fijner werken in combinatie met Docker containers.

[dcm360]

marcel19 schreef op donderdag 31 augustus 2023 @ 14:56:
[...]


Heb ik zojuist geprobeerd, maar als dan de VM opstart loopt alles vast en krijgt mijn Proxmox de melding Lockup on cpu2.

Deze zet ik dan door naar de VM als PCI Device.

[Afbeelding]

Mijn eerste inschatting zou zijn dat er dan iets mis gaat met IOMMU-groups, maar bij jou staan er uberhaupt geen IOMMU-groups in het lijstje. Volgens de wiki zou dat tegenwoordig wat meer standaard moeten werken, maar misschien dat het er meer zin in heeft met een aangepaste kernel commandline?

[marcel19]

dcm360 schreef op donderdag 31 augustus 2023 @ 15:56:
[...]

Mijn eerste inschatting zou zijn dat er dan iets mis gaat met IOMMU-groups, maar bij jou staan er uberhaupt geen IOMMU-groups in het lijstje. Volgens de wiki zou dat tegenwoordig wat meer standaard moeten werken, maar misschien dat het er meer zin in heeft met een aangepaste kernel commandline?

Blijkbaar stond er nog niet iets goed in mijn grub. Deze heb ik aangepast en nu zie ik dit:


Maar alsnog, als ik hem doorzet naar mijn OMV, dan crasht het hele systeem.

[marcel19]

Even dubbel gecheckt.

Group 11 is echt alleen van die kaart:
Dit is met de sata controller aangesloten in het systeem:



Dit is zonder die sata controller aangesloten:

[Kriss1981]

marcel19 schreef op donderdag 31 augustus 2023 @ 15:19:
[...]

code:

root@proxmox:~# dmesg | grep -e DMAR -e IOMMU
[    0.007997] ACPI: DMAR 0x00000000962E0000 000088 (v02 INTEL  EDK2     00000002      01000013)
[    0.008035] ACPI: Reserving DMAR table memory at [mem 0x962e0000-0x962e0087]
[    0.133948] DMAR: Host address width 39
[    0.133949] DMAR: DRHD base: 0x000000fed90000 flags: 0x0
[    0.133954] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap 1c0000c40660462 ecap 19e2ff0505e
[    0.133956] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[    0.133959] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008c40660462 ecap f050da
[    0.133961] DMAR: RMRR base: 0x0000009b000000 end: 0x0000009f7fffff
[    0.133963] DMAR-IR: IOAPIC id 2 under DRHD base  0xfed91000 IOMMU 1
[    0.133964] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[    0.133965] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.135574] DMAR-IR: Enabled IRQ remapping in x2apic mode
root@proxmox:~# dmesg | grep 'remapping'
[    0.133965] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.135574] DMAR-IR: Enabled IRQ remapping in x2apic mode
root@proxmox:~#

Lijkt allemaal netjes goed te staan?

Lijkt mij niet goed. Zie nergens staan dat IOMMU enabled is. Heb je de kernel boot en modules wel aangepast om dit in te schakelen?

Zie dit

[marcel19]

Kriss1981 schreef op donderdag 31 augustus 2023 @ 16:37:
[...]


Lijkt mij niet goed. Zie nergens staan dat IOMMU enabled is. Heb je de kernel boot en modules wel aangepast om dit in te schakelen?

Zie dit

Oké, dat ziet er nu inderdaad anders uit:

code:

root@proxmox:~# dmesg | grep -e DMAR -e IOMMU
[    0.007653] ACPI: DMAR 0x00000000962E0000 000088 (v02 INTEL  EDK2     00000002      01000013)
[    0.007688] ACPI: Reserving DMAR table memory at [mem 0x962e0000-0x962e0087]
[    0.050280] DMAR: IOMMU enabled
[    0.133182] DMAR: Host address width 39
[    0.133183] DMAR: DRHD base: 0x000000fed90000 flags: 0x0
[    0.133188] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap 1c0000c40660462 ecap 19e2ff0505e
[    0.133190] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[    0.133192] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008c40660462 ecap f050da
[    0.133194] DMAR: RMRR base: 0x0000009b000000 end: 0x0000009f7fffff
[    0.133196] DMAR-IR: IOAPIC id 2 under DRHD base  0xfed91000 IOMMU 1
[    0.133198] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[    0.133199] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.134803] DMAR-IR: Enabled IRQ remapping in x2apic mode
[    0.417330] DMAR: No ATSR found
[    0.417331] DMAR: No SATC found
[    0.417332] DMAR: IOMMU feature fl1gp_support inconsistent
[    0.417332] DMAR: IOMMU feature pgsel_inv inconsistent
[    0.417333] DMAR: IOMMU feature nwfs inconsistent
[    0.417334] DMAR: IOMMU feature pasid inconsistent
[    0.417334] DMAR: IOMMU feature eafs inconsistent
[    0.417335] DMAR: IOMMU feature prs inconsistent
[    0.417335] DMAR: IOMMU feature nest inconsistent
[    0.417336] DMAR: IOMMU feature mts inconsistent
[    0.417336] DMAR: IOMMU feature sc_support inconsistent
[    0.417337] DMAR: IOMMU feature dev_iotlb_support inconsistent
[    0.417338] DMAR: dmar0: Using Queued invalidation
[    0.417340] DMAR: dmar1: Using Queued invalidation
[    0.417793] DMAR: Intel(R) Virtualization Technology for Directed I/O
root@proxmox:~# dmesg | grep 'remapping'
[    0.133199] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.134803] DMAR-IR: Enabled IRQ remapping in x2apic mode
root@proxmox:~#

EDIT:
Maar helaas, nog geen verbetering want het systeem slaat nog steeds vast als ik die PCI doorzet naar de VM.

Staat dit goed?

[ Voor 5% gewijzigd door marcel19 op 31-08-2023 16:58 ]

[Kriss1981]

marcel19 schreef op donderdag 31 augustus 2023 @ 16:51:
[...]

Staat dit goed?
[Afbeelding]

Ik heb All Functions en PCI-express ook aangevinkt. Maar betwijfel of dat jouw issue gaat oplossen.

Heb je de kaart ook al in een ander slot geprobeerd?

[zweefjr]

En als je "all functions" ook aan finkt?


Staat mij bij dat je ook bepaalde devices kunt black listen voor proxmox, zodat proxmox met z'n vingers er af blijft.

[marcel19]

Kan het wezen dat misschien 1 van mijn andere instellingen niet goed staan in de vm?

[marcel19]

Kriss1981 schreef op donderdag 31 augustus 2023 @ 17:11:
[...]


Ik heb All Functions en PCI-express ook aangevinkt. Maar betwijfel of dat jouw issue gaat oplossen.

Heb je de kaart ook al in een ander slot geprobeerd?

Ook in een ander slot het zelfde probleem.
Zie wel dat de IMMOU group het zelfde blijft namelijk 11.

[zweefjr]

Ik zie dat je Seabios gebruikt, ik zou die andere optie eens proberen.

"Proxmox VE allows to boot VMs with different firmware and machine types, namely SeaBIOS and OVMF. In most cases you want to switch from the default SeaBIOS to OVMF only if you plan to use PCIe pass through. A VMs Machine Type defines the hardware layout of the VM's virtual motherboard."

[marcel19]

zweefjr schreef op donderdag 31 augustus 2023 @ 17:50:
Ik zie dat je Seabios gebruikt, ik zou die andere optie eens proberen.

"Proxmox VE allows to boot VMs with different firmware and machine types, namely SeaBIOS and OVMF. In most cases you want to switch from the default SeaBIOS to OVMF only if you plan to use PCIe pass through. A VMs Machine Type defines the hardware layout of the VM's virtual motherboard."

Zal eens een test VM maken met die optie

[zweefjr]

Ik gebruik eigelijk standaart al ovmf, zolang de os niet te oud is.

Zover ik weet ondersteund SeaBIOS ook geen uefi, en ovmf wel.

Omvf is meer een moderne moederbord/bios en seabios meer legacy.

[marcel19]

zweefjr schreef op donderdag 31 augustus 2023 @ 18:07:
Ik gebruik eigelijk standaart al ovmf, zolang de os niet te oud is.

Zover ik weet ondersteund SeaBIOS ook geen uefi, en ovmf wel.

Omvf is meer een moderne moederbord/bios en seabios meer legacy.

Heb een nieuwe install gemaakt, maar als de VM dan boot zie ik enkel dit:

[zweefjr]

Excuses ik zie nu dat je een nieuwe install hebt geprobeerd.

Probeer je je huidige vm hdd te laden?

Dat zal waarschijnlijk niet lukken, gezien die als legacy geïnstalleerd is.

Je zal dan wel een nieuwe install van de os moeten uitvoeren waarschijnlijk, gezien omvf uefi gebruikt.

[ Voor 43% gewijzigd door zweefjr op 31-08-2023 18:38 ]

[zweefjr]

Dit is ook nieuw voor mij, maar schijnbaar staat secure boot tegenwoordig standaart aan in omvf.

"I had the same problem, but with a NixOS installation CD. In my case, the iso is not signed, and can't be started using SecureBoot (which is the default on the latest OVMF shipped with Proxmox). If you hit the escape key while it says 'Startup boot options' (and before it says the UEFI message about saying hitting escape that doesn't actually work), then you get into the UEFI menu which you can use to disable Secure Boot and then boot the iso"

[marcel19]

@zweefjr

HELD!

Dit was het hoor, alles werkt en zelfs me passtrough werkt






Dan wordt het vanavond een avondje opnieuw instellen van OMV in een nieuwe VM

HAPPY!!

@dcm360 @Kriss1981 @SonnyBBQ en @nero355 Jullie ook zeker bedankt voor alle hulp en support.

[marcel19]

Te vroeg blij

Ik krijg nu bij het instaleren van OMV ZFS plugin opeens deze melding:

code:

Failed to execute command 'export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin; export LANG=C.UTF-8; export LANGUAGE=; export DEBIAN_FRONTEND=noninteractive; apt-get --yes --allow-downgrades --allow-change-held-packages --fix-missing --allow-unauthenticated --reinstall install openmediavault-zfs 2>&1' with exit code '100': Reading package lists...

Building dependency tree...

Reading state information...

Some packages could not be installed. This may mean that you have
requested an impossible situation or if you are using the unstable
distribution that some required packages have not yet been created
or been moved out of Incoming.
The following information may help to resolve the situation:

The following packages have unmet dependencies:
 openmediavault-zfs : Depends: libzfs4linux but it is not installable
                      Depends: pve-headers but it is not installable or
                               zfs-dkms but it is not installable
                      Depends: zfsutils-linux but it is not installable
                      Depends: zfs-zed but it is not installable
E: Unable to correct problems, you have held broken packages.

OMV\ExecException: Failed to execute command 'export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin; export LANG=C.UTF-8; export LANGUAGE=; export DEBIAN_FRONTEND=noninteractive; apt-get --yes --allow-downgrades --allow-change-held-packages --fix-missing --allow-unauthenticated --reinstall install openmediavault-zfs 2>&1' with exit code '100': Reading package lists...

Building dependency tree...

Reading state information...

Some packages could not be installed. This may mean that you have
requested an impossible situation or if you are using the unstable
distribution that some required packages have not yet been created
or been moved out of Incoming.
The following information may help to resolve the situation:

The following packages have unmet dependencies:
 openmediavault-zfs : Depends: libzfs4linux but it is not installable
                      Depends: pve-headers but it is not installable or
                               zfs-dkms but it is not installable
                      Depends: zfsutils-linux but it is not installable
                      Depends: zfs-zed but it is not installable
E: Unable to correct problems, you have held broken packages. in /usr/share/openmediavault/engined/rpc/pluginmgmt.inc:246
Stack trace:
#0 /usr/share/php/openmediavault/rpc/serviceabstract.inc(620): Engined\Rpc\PluginMgmt->Engined\Rpc\{closure}('/tmp/bgstatuspv...', '/tmp/bgoutputHW...')
#1 /usr/share/openmediavault/engined/rpc/pluginmgmt.inc(249): OMV\Rpc\ServiceAbstract->execBgProc(Object(Closure))
#2 [internal function]: Engined\Rpc\PluginMgmt->install(Array, Array)
#3 /usr/share/php/openmediavault/rpc/serviceabstract.inc(123): call_user_func_array(Array, Array)
#4 /usr/share/php/openmediavault/rpc/rpc.inc(86): OMV\Rpc\ServiceAbstract->callMethod('install', Array, Array)
#5 /usr/sbin/omv-engined(537): OMV\Rpc\Rpc::call('Plugin', 'install', Array, Array, 1)
#6 {main}

[zweefjr]

Heb je omv/debian al wel geupdate?

Ander kun je het volgende proberen.

"please install kernell plugin

next install promox kernell

and finally install ZFS Plugin"

Wel eerst even na het installeren van de proxmox kernell, omv een reboot geven.

[ Voor 34% gewijzigd door zweefjr op 31-08-2023 20:18 ]

[marcel19]

zweefjr schreef op donderdag 31 augustus 2023 @ 20:15:
wil je het volgende eens proberen?

"please install kernell plugin

next install promox kernell

and finally install ZFS Plugin"

Wel eerst even na het installeren van de proxmox kernell omv een reboot geven.

Kernel en Proxmox plugin zijn blijkbaar 1 plugin geworden?
Heb OMV een reboot gegeven en het blijft het zelfde.

code:

Failed to execute command 'export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin; export LANG=C.UTF-8; export LANGUAGE=; export DEBIAN_FRONTEND=noninteractive; apt-get --yes --allow-downgrades --allow-change-held-packages --fix-missing --allow-unauthenticated --reinstall install openmediavault-zfs 2>&1' with exit code '100': Reading package lists...

Building dependency tree...

Reading state information...

Some packages could not be installed. This may mean that you have
requested an impossible situation or if you are using the unstable
distribution that some required packages have not yet been created
or been moved out of Incoming.
The following information may help to resolve the situation:

The following packages have unmet dependencies:
 linux-headers-amd64 : Depends: linux-headers-6.1.0-0.deb11.9-amd64 (= 6.1.27-1~bpo11+1) but it is not installable
E: Unable to correct problems, you have held broken packages.

OMV\ExecException: Failed to execute command 'export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin; export LANG=C.UTF-8; export LANGUAGE=; export DEBIAN_FRONTEND=noninteractive; apt-get --yes --allow-downgrades --allow-change-held-packages --fix-missing --allow-unauthenticated --reinstall install openmediavault-zfs 2>&1' with exit code '100': Reading package lists...

Building dependency tree...

Reading state information...

Some packages could not be installed. This may mean that you have
requested an impossible situation or if you are using the unstable
distribution that some required packages have not yet been created
or been moved out of Incoming.
The following information may help to resolve the situation:

The following packages have unmet dependencies:
 linux-headers-amd64 : Depends: linux-headers-6.1.0-0.deb11.9-amd64 (= 6.1.27-1~bpo11+1) but it is not installable
E: Unable to correct problems, you have held broken packages. in /usr/share/openmediavault/engined/rpc/pluginmgmt.inc:246
Stack trace:
#0 /usr/share/php/openmediavault/rpc/serviceabstract.inc(620): Engined\Rpc\PluginMgmt->Engined\Rpc\{closure}('/tmp/bgstatusd4...', '/tmp/bgoutputGf...')
#1 /usr/share/openmediavault/engined/rpc/pluginmgmt.inc(249): OMV\Rpc\ServiceAbstract->execBgProc(Object(Closure))
#2 [internal function]: Engined\Rpc\PluginMgmt->install(Array, Array)
#3 /usr/share/php/openmediavault/rpc/serviceabstract.inc(123): call_user_func_array(Array, Array)
#4 /usr/share/php/openmediavault/rpc/rpc.inc(86): OMV\Rpc\ServiceAbstract->callMethod('install', Array, Array)
#5 /usr/sbin/omv-engined(537): OMV\Rpc\Rpc::call('Plugin', 'install', Array, Array, 1)
#6 {main}

[zweefjr]

Zou je dit eens kunnen proberen?

and remove the non-proxmox kernels and disable backports using omv-extras.

[marcel19]

zweefjr schreef op donderdag 31 augustus 2023 @ 20:29:
Zou je dit eens kunnen proberen?

and remove the non-proxmox kernels and disable backports using omv-extras.

En met non-proxmox kernels bedoel je dit:

[zweefjr]

Zie je dit ook?

[marcel19]

zweefjr schreef op donderdag 31 augustus 2023 @ 20:38:
[Afbeelding]

Zie je dit ook?

Heb het gevonden
Blijkbaar stond de Proxmox kernel installatie tegenwoordig ergens anders.

1. eerst de kernel instaleren. rebooten
2. Daarin in je kernels de proxmox kernel instaleren. rebooten
3. ZFS installatie is nu wel mogelijk

Hieronder het knopje om dus de Proxmox kernel te instaleren:


Heb nu ook meer kernels, en kreeg opeens heel veel updates.

[zweefjr]

Top, ik wou het net plaatsen. Heb het zelf niet draaien dus moest het ook ff zoeken

[CAP-Team]

Net even bezig geweest met upgraden van 7.x naar 8.x
Moest alleen mijn tijdserver aanpassen naar chrony voor de rest liep het allemaal als een zonnetje

[jasperdgie]

Goedenavond allen,

Alvast excuses voor een lange post. Ik heb wat vragen.

Na er al lang over te denken heb ik deze maand besloten eindelijk een eigen thuisserver/homelab aan te schaffen. Ik wil deze 24/7 draaien en voor 2 doeleinden gebruiken:

1. Persoonlijke diensten: diensten zoals (maar niet uitsluitend) Jellyfin (en bijkomende services), Nextcloud, Bitwarden, Foto , eBook storage, misschien ooit Home Assistant, etc. (ik heb een grote digitale verzameling die ik verwacht uit te gaan breiden)
2. Een homelab waar ik mijn skills kan verbeteren op teshnisch, systeem&netwerk, security gebied: Windows Server (DC), SCCM, Clients (DVWA, Windows, Linux), Hacking systeem, Webserver, Database, Logging&Monitoring stack, etc.

Vanwege beperkte ruimte (en kosten te overzien) wil ik dit in 1 all-in-one systeem (geen gedoe met Synologie erbij o.i.d.). Wel externe disk voor back-ups uiteraard.

Ik heb heel lang gezocht naar een geschikt betaalbaar systeem, waarbij ik het continue lastig vond de juiste balans tussen kosten (aanschaf of stroomverbruik) en (benodigde) performance te vinden (meer cores, ECC of niet, überhaupt enterprise of consumer). Heb gekeken naar refurbished servers en workstations (te hoog verbruik), mini PC's (te beperkte mogelijkheden) etc. etc. maar uiteindelijk na veel wikken en wegen uiteindelijk zelf een systeem samengesteld en gebouwd, waarvan dit de belangrijkste componenten zijn:

• Intel Core i7-11700 (8c/16c).
• 2x32GB DDR4 RAM 3200MHz (2/4 slots, kan nog tot 128GB) > Non ECC dus (ondersteund CPU ook niet).
• Lexar NM710 2TB NVMe M.2 SSD (1,2PB TBW) > Nog 1 M.2 slot en 6 SATA-600 aansluitingen over.

Hierbij heb ik er uiteindelijk, voornamelijk vanwege kosten enz, bewust voor gekozen te "accepteren" dat ik geen ECC kan gebruiken. Dit had ik idealiter wel gehad, maar het is slechts een thuisserver (zonder kritieke werk/klant gegevens) en al deze shit heb ik nu ook gewoon op Laptops zonder ECC opgeslagen/draaien. Ik dacht met dit systeem een perfect systeem gevonden te hebben en lekker aan de gang te kunnen. Op de SSD een deel voor OS/hypervisor reserveren, een deel voor VMs en een deel voor storage, waarbij ik "gewoon" een nieuwe schijf zou toevoegen en aan het logische volume zou toevoegen als ik krap in de ruimte kwam. Geen RAID oid, gewoon op een externe schijf (Seagate Expension oid) wekelijks back-uppen. Echter heb ik het gevoel in een rabbithole te zijn terecht gekomen:

Ik wilde eerst Windows Server installeren en VMs opspinnen via Hyper-V (ik ken Windows redelijk goed), maar kwam uiteindelijk op het spoor van Proxmox. Het Open Source verhaal, maar ook meer ervaring opdoen met Linux based systemen heeft mij doen besluiten om Proxmox als hypervisor te kiezen. Hier begonnen mijn complicaties. Iedereen zegt tegen mij dat ik absoluut ZFS moet gebruiken, zelfs als je maar 1 disk of RAID0 wil toepassen zou het nog tal van voordelen hebben. Ik heb op dit moment nog geen kennis over ZFS. Over ZFS gesproken, Proxmox is niet per se goed in filesharing, dus adviseren veel mensen TrueNas VM op te spinnen. Maar dan moet je wel meteen veel disks hebben om via passthrough een pool te maken voor de NAS. Als je ZFS gebruikt schijnt die consumenten SSD van mij overigens dan weer compleet ongeschikt te zijn, slechte performance en is zo stuk door "amplified" writes en volgens de puristen van het Proxmox forum is Non-ECC RAM trouwens toch ook echt een absolute No-Go...

Nu zou ik graag wat advies krijgen van Tweakers. Ik hoef niet dat jullie mij vertellen wat ik moet doen, ik snap dat ik zelf uiteindelijk mijn eigen keuzes moet afwegen en maken, maar ik ben opzoek naar wat aanbevelingen, meest gebruikte opties, ideeën van ervaren Proxmox gebruikers over de volgende zaken:

• Filesystem Proxmox: Zou ik nou echt baat hebben bij ZFS als filesystem voor Proxmox en is mijn hardware daar wel enigszins geschikt voor? Ik snap dat ECC RAM beter zou zijn, maar dat geldt voor elk filesystem. Moet ik dan toch een andere SSD nemen? Is die SSD "wear-out" door ZFS overdreven? Of kan ik voor mij usecase net zo goed ext4 doen? Wat zijn de grootste nadelen?
• TrueNas: Ik wil dus geen losse NAS. Het hoofddoel van mijn systeem is VM host zijn, niet NAS. Maar na wat lezen lijkt een oplossing als TrueNAS mij best handig en leuk om me te spelen. Ik kan daar dan storage hosten die ik kan mounten en gebruiken op mijn Jellyfin en Nextcloud sever, maar ook mijn prive laptop. Of zou gewoon een NFS/Samba share hosten op de proxmox host of een andere VM toch voldoende (en geschikter voor mijn hardware) zijn voor mij?
• Is het ongebruikelijk om voor Proxmox ext4 te gebruiken en voor TrueNAS pool ZFS? Zitten er voordelen aan ZFS Proxmox+ZFS storage?
• SSD: Als ik dan wel TrueNAS ga gebruiken, is het dan een goed idee om wat tweedehands enterprise SSDs te kopen? Ik zie best wat leuke opties bij Tweakers Vraag en Aanbod. Of is een consumenten (TLC) SSD met goede TBW (>2PB) en Stroomuitvalbescherming ook voldoende
• RAID/Back-up: Als ik dan toch TrueNAS ga gebruiken en daar een aantal SSDs voor ga kopen, adviseren jullie mij dan toch RAIDz toe te passen of is gewoon een simpele back-up dan nog steeds in principe voldoende voldoende? Lijkt met me met zo'n pool moeilijker even terug te zetten als 1 van die (tweedehands) SSDs de geest geeft

Ik hoop dat er wat Tweakers zijn die mij op weg kunnen helpen. Hoe zouden jullie het vanaf hier inrichten of wat zijn mijn opties met bijbehorende voor- en nadelen?
Alvast bedankt!

Jasper

[powerboat]

jasperdgie schreef op donderdag 14 september 2023 @ 22:36:
Goedenavond allen,

Alvast excuses voor een lange post. Ik heb wat vragen.

Na er al lang over te denken heb ik deze maand besloten eindelijk een eigen thuisserver/homelab aan te schaffen. Ik wil deze 24/7 draaien en voor 2 doeleinden gebruiken:

1. Persoonlijke diensten: diensten zoals (maar niet uitsluitend) Jellyfin (en bijkomende services), Nextcloud, Bitwarden, Foto , eBook storage, misschien ooit Home Assistant, etc. (ik heb een grote digitale verzameling die ik verwacht uit te gaan breiden)
2. Een homelab waar ik mijn skills kan verbeteren op teshnisch, systeem&netwerk, security gebied: Windows Server (DC), SCCM, Clients (DVWA, Windows, Linux), Hacking systeem, Webserver, Database, Logging&Monitoring stack, etc.

Vanwege beperkte ruimte (en kosten te overzien) wil ik dit in 1 all-in-one systeem (geen gedoe met Synologie erbij o.i.d.). Wel externe disk voor back-ups uiteraard.

Ik heb heel lang gezocht naar een geschikt betaalbaar systeem, waarbij ik het continue lastig vond de juiste balans tussen kosten (aanschaf of stroomverbruik) en (benodigde) performance te vinden (meer cores, ECC of niet, überhaupt enterprise of consumer). Heb gekeken naar refurbished servers en workstations (te hoog verbruik), mini PC's (te beperkte mogelijkheden) etc. etc. maar uiteindelijk na veel wikken en wegen uiteindelijk zelf een systeem samengesteld en gebouwd, waarvan dit de belangrijkste componenten zijn:

• Intel Core i7-11700 (8c/16c).
• 2x32GB DDR4 RAM 3200MHz (2/4 slots, kan nog tot 128GB) > Non ECC dus (ondersteund CPU ook niet).
• Lexar NM710 2TB NVMe M.2 SSD (1,2PB TBW) > Nog 1 M.2 slot en 6 SATA-600 aansluitingen over.

Hierbij heb ik er uiteindelijk, voornamelijk vanwege kosten enz, bewust voor gekozen te "accepteren" dat ik geen ECC kan gebruiken. Dit had ik idealiter wel gehad, maar het is slechts een thuisserver (zonder kritieke werk/klant gegevens) en al deze shit heb ik nu ook gewoon op Laptops zonder ECC opgeslagen/draaien. Ik dacht met dit systeem een perfect systeem gevonden te hebben en lekker aan de gang te kunnen. Op de SSD een deel voor OS/hypervisor reserveren, een deel voor VMs en een deel voor storage, waarbij ik "gewoon" een nieuwe schijf zou toevoegen en aan het logische volume zou toevoegen als ik krap in de ruimte kwam. Geen RAID oid, gewoon op een externe schijf (Seagate Expension oid) wekelijks back-uppen. Echter heb ik het gevoel in een rabbithole te zijn terecht gekomen:

Ik wilde eerst Windows Server installeren en VMs opspinnen via Hyper-V (ik ken Windows redelijk goed), maar kwam uiteindelijk op het spoor van Proxmox. Het Open Source verhaal, maar ook meer ervaring opdoen met Linux based systemen heeft mij doen besluiten om Proxmox als hypervisor te kiezen. Hier begonnen mijn complicaties. Iedereen zegt tegen mij dat ik absoluut ZFS moet gebruiken, zelfs als je maar 1 disk of RAID0 wil toepassen zou het nog tal van voordelen hebben. Ik heb op dit moment nog geen kennis over ZFS. Over ZFS gesproken, Proxmox is niet per se goed in filesharing, dus adviseren veel mensen TrueNas VM op te spinnen. Maar dan moet je wel meteen veel disks hebben om via passthrough een pool te maken voor de NAS. Als je ZFS gebruikt schijnt die consumenten SSD van mij overigens dan weer compleet ongeschikt te zijn, slechte performance en is zo stuk door "amplified" writes en volgens de puristen van het Proxmox forum is Non-ECC RAM trouwens toch ook echt een absolute No-Go...

Nu zou ik graag wat advies krijgen van Tweakers. Ik hoef niet dat jullie mij vertellen wat ik moet doen, ik snap dat ik zelf uiteindelijk mijn eigen keuzes moet afwegen en maken, maar ik ben opzoek naar wat aanbevelingen, meest gebruikte opties, ideeën van ervaren Proxmox gebruikers over de volgende zaken:

• Filesystem Proxmox: Zou ik nou echt baat hebben bij ZFS als filesystem voor Proxmox en is mijn hardware daar wel enigszins geschikt voor? Ik snap dat ECC RAM beter zou zijn, maar dat geldt voor elk filesystem. Moet ik dan toch een andere SSD nemen? Is die SSD "wear-out" door ZFS overdreven? Of kan ik voor mij usecase net zo goed ext4 doen? Wat zijn de grootste nadelen?
• TrueNas: Ik wil dus geen losse NAS. Het hoofddoel van mijn systeem is VM host zijn, niet NAS. Maar na wat lezen lijkt een oplossing als TrueNAS mij best handig en leuk om me te spelen. Ik kan daar dan storage hosten die ik kan mounten en gebruiken op mijn Jellyfin en Nextcloud sever, maar ook mijn prive laptop. Of zou gewoon een NFS/Samba share hosten op de proxmox host of een andere VM toch voldoende (en geschikter voor mijn hardware) zijn voor mij?
• Is het ongebruikelijk om voor Proxmox ext4 te gebruiken en voor TrueNAS pool ZFS? Zitten er voordelen aan ZFS Proxmox+ZFS storage?
• SSD: Als ik dan wel TrueNAS ga gebruiken, is het dan een goed idee om wat tweedehands enterprise SSDs te kopen? Ik zie best wat leuke opties bij Tweakers Vraag en Aanbod. Of is een consumenten (TLC) SSD met goede TBW (>2PB) en Stroomuitvalbescherming ook voldoende
• RAID/Back-up: Als ik dan toch TrueNAS ga gebruiken en daar een aantal SSDs voor ga kopen, adviseren jullie mij dan toch RAIDz toe te passen of is gewoon een simpele back-up dan nog steeds in principe voldoende voldoende? Lijkt met me met zo'n pool moeilijker even terug te zetten als 1 van die (tweedehands) SSDs de geest geeft

Ik hoop dat er wat Tweakers zijn die mij op weg kunnen helpen. Hoe zouden jullie het vanaf hier inrichten of wat zijn mijn opties met bijbehorende voor- en nadelen?
Alvast bedankt!

Jasper

ProxmoxVE is een hypervisor puur sang en niet voor filesharing, wat ik heb en menig ander tweaker is Truenas core/scale in een vm installeren en je disken rechtstreeks mounten aan je vm d.m.v. passthrough.

Mijn ervaring met consumenten SSD's is dat deze snel een flinke wearout hebben en met datacenter SSD's bijna niet (Heb inmiddels 5jaar oude Intel en die doen het erg goed).

Je kunt ook overwegen om Truenas Scale te gebruiken als NAS en als hypervisor, die heeft onder de motorkap nl. ook KVM. Heb hier alleen geen ervaring mee .

[dcm360]

@jasperdgie Welkom in de Proxmox-wereld Ik pak even wat dingetjes uit jouw verhaal waar naar mijn idee wat misvattingen in zitten.

• Filesystem Proxmox: Zou ik nou echt baat hebben bij ZFS als filesystem voor Proxmox en is mijn hardware daar wel enigszins geschikt voor? Ik snap dat ECC RAM beter zou zijn, maar dat geldt voor elk filesystem. Moet ik dan toch een andere SSD nemen? Is die SSD "wear-out" door ZFS overdreven? Of kan ik voor mij usecase net zo goed ext4 doen? Wat zijn de grootste nadelen?

Veel schrijven is iets wat vooral Proxmox-eigen is, en niet ZFS-eigen. Ook met LVM+ext4 schrijft Proxmox veel, maar et een beetje tweaken valt Proxmox wel af te richten dat er minder geschreven wordt. Dat je eigenlijk voor elk filesystem ECC zou willen is naar mijn idee ook de meest redelijke conclusie, met als kanttekening dat het risico niet echt groot lijkt (RAM lijkt tegenwoordig best betrouwbaar).

• TrueNas: Ik wil dus geen losse NAS. Het hoofddoel van mijn systeem is VM host zijn, niet NAS. Maar na wat lezen lijkt een oplossing als TrueNAS mij best handig en leuk om me te spelen. Ik kan daar dan storage hosten die ik kan mounten en gebruiken op mijn Jellyfin en Nextcloud sever, maar ook mijn prive laptop. Of zou gewoon een NFS/Samba share hosten op de proxmox host of een andere VM toch voldoende (en geschikter voor mijn hardware) zijn voor mij?
• Is het ongebruikelijk om voor Proxmox ext4 te gebruiken en voor TrueNAS pool ZFS? Zitten er voordelen aan ZFS Proxmox+ZFS storage?

Dit is meer een kwestie van persoonlijke voorkeur, dus wat hier volgt is mijn persoonlijke voorkeur. Ooit heb ik via passthrough een set schijven aan een VM gegeven voor het beheer van storage, maar echt heel erg fijn vond ik dat uiteindelijk niet werken. Wat ik nu doe, is de 'ruwe' storage beheren in Proxmox (ZFS pools), en dan containers met bepaalde services (Samba, Nextcloud, etc..) daar ruimte op toewijzen. Indien je een bepaald stuk data door meerdere containers/services wil laten benaderen, kan dat eventueel ook met bind mounts naar een handmatig aangemaakte dataset in plaats van direct aan een container gekoppelde dataset.

[jasperdgie]

Zo, ik keek mijn eigen post even terug en vroeg me af of ik met zo'n lange post überhaupt antwoord ging krijgen... Maar al vrij snel 2 hele bruikbare antwoorden, dank!

@powerboat Dank voor je reactie. En op zich fijn om te horen dat een TrueNAS VM met Schijf passthrough dus niet een hele gekke/ongewenste keuze is. Omdat ik op andere fora ook veel commentaar las dat je voor een VM host en een NAS eigenlijk echt losse dedicated systemen moet gebruiken, begon ik te twijfelen. Het zal een beetje zo zijn: een losse oven en magnetron werkt top en puristen zweren erbij om 2 aparte machines te gebruiken. Bij een combi-oven werkt de oven net iets minder en de magnetron ook, maar voor "gemiddeld" gebruik werkt zo'n ding gewoon prima. Haha. Ook goede input v.w.b. SSDs, het zal voor een groot deel ook aan de TBW liggen, je hebt consumenten SSDs met 300TB TBW, maar ook met 2PB. Ik ga toch eens kijken naar "gezonde" enterprise SSDs. Welke RAID opstelling gebruik je hierbij en is dit "makkelijk" uit te breiden met schijven die je later toevoegt? Ik zit er aan te denken nu 2 SSDs te kopen en later nog een 2, maar ik weet niet of dit in TrueNAS makkelijk is uit te breiden (i.c.m. RAID).

@dcm360 Dank! Inderdaad goed om te weten dat het vele schrijven meer aan Proxmox ligt dan het filesystem. Maar als ik wel TrueNAS ga gebruiken en daar SSDs aan koppel voor eigen ZFS storage pools, is het dan voor mij wat jou betreft nog steeds aan te raden ZFS te gebruiken voor Proxmox OS en de VMs? Ik ga mij zeker nog verdiepen in ZFS en uitzoeken welke tweaks ik kan doen om het "schrijven" zo veel mogelijk te beperken. Ik heb zelf gewoon een Proxmox ZFS install gedaan zonder verder iets aan te passen, heb je nog tips of zaken die jij bij een clean install sowieso meteen inregelt? Zoals iets met SWAP, Cache, Log, bepaalde storage/pools oid?

[Cyphax]

jasperdgie schreef op vrijdag 15 september 2023 @ 10:12:
En op zich fijn om te horen dat een TrueNAS VM met Schijf passthrough dus niet een hele gekke/ongewenste keuze is. Omdat ik op andere fora ook veel commentaar las dat je voor een VM host en een NAS eigenlijk echt losse dedicated systemen moet gebruiken, begon ik te twijfelen.

Het is nog steeds geen gek idee om ook een NAS te plaatsen; mijn fileserver draait ook binnen Proxmox als VM (bij mij dan op OMV gebaseerd) met LVM passthrough, waarbij ik precies doe wat jij ook van plan bent: de storage ontsluiten via shares op die VM. Op HA na draait de rest in LXC-containers (mijn server kan maar 16GB geheugen bevatten) die daar al dan niet gebruik van maken (Jellyfin en Nextcloud met name). Maar ik heb ook een Synology NAS in de meterkast waar de backups op terechtkomen, die heel belangrijk zijn.

[ Voor 4% gewijzigd door Cyphax op 15-09-2023 10:21 ]

[jasperdgie]

Cyphax schreef op vrijdag 15 september 2023 @ 10:21:
[...]

Het is nog steeds geen gek idee om ook een NAS te plaatsen; mijn fileserver draait ook binnen Proxmox als VM (bij mij dan op OMV gebaseerd) met LVM passthrough, waarbij ik precies doe wat jij ook van plan bent: de storage ontsluiten via shares op die VM. Op HA na draait de rest in LXC-containers (mijn server kan maar 16GB geheugen bevatten) die daar al dan niet gebruik van maken (Jellyfin en Nextcloud met name). Maar ik heb ook een Synology NAS in de meterkast waar de backups op terechtkomen, die heel belangrijk zijn.

Dank @Cyphax Jij gebruikt helemaal geen ZFS? Ik lees af en toe nog verhalen dat OMV wat minder stabiel en problemen kan opleveren met updates. Ja, de reden dat dat ik een beetje huiverig ben voor een NAS zijn de kosten. Een synology NAS inclusief schijven past op dit moment niet helemaal in mijn budget en het zijn toch ook weer extra stroomkosten? Had ik misschien eerder over na moeten denken, maar ik zat er aan te denken om gewoon een grote Seagate Expension Desktop te kopen en deze wekelijks aan te sluiten om een back-up te maken. Dit zou ik wel "slim" willen doen (incremental). Of voorzie jij (grote) problemen met deze oplossing?

[Cyphax]

jasperdgie schreef op vrijdag 15 september 2023 @ 10:44:
[...]


Dank @Cyphax Jij gebruikt helemaal geen ZFS?

Neuh, XFS is dat toevallig, maar ik heb er niet zoveel bijzondere eisen aan, dus ext4 was voor mij ook wel goed genoeg geweest.

Ik lees af en toe nog verhalen dat OMV wat minder stabiel en problemen kan opleveren met updates.

Ik heb er nog geen problemen mee gehad maar je kunt prima TrueNas gebruiken natuurlijk, of het op z'n minst proberen. Als het bevalt hoef je alleen maar een andere VM op te tuigen met iets anders.

Ja, de reden dat dat ik een beetje huiverig ben voor een NAS zijn de kosten. Een synology NAS inclusief schijven past op dit moment niet helemaal in mijn budget en het zijn toch ook weer extra stroomkosten? Had ik misschien eerder over na moeten denken, maar ik zat er aan te denken om gewoon een grote Seagate Expension Desktop te kopen en deze wekelijks aan te sluiten om een back-up te maken. Dit zou ik wel "slim" willen doen (incremental). Of voorzie jij (grote) problemen met deze oplossing?

Een externe HD zou ook kunnen, als je je spullen maar backupt ergens just in case. Ik wilde ook niet teveel uitgeven, dus ik heb een Synology van Marktplaats, was "maar" 75 euro kwijt (de schijven niet meegerekend). Ik weet niet precies hoeveel stroom dat verbruikt maar het is niet zo'n high end model dus ik vermoed dat dat niet zo heel veel voorstelt.
De DS213j verbruikt in hibernate stand (waar ie 99% van de tijd in staat ) minder dan 4 watt.

[ Voor 3% gewijzigd door Cyphax op 15-09-2023 11:49 ]

[jasperdgie]

@Cyphax Ja precies.. Dank voor je input! Ik zie nu overigens ook dat Synology (of in ieder geval sommige modellen) een auto on/off functie hebben, dat zou ik helemaal top vinden> Elke week vanzelf Aan, back-up draaien, en vanzelfd weer uit gaan. Dit scheelt stroom en in het geval van malware besmetting o.i.d. staat je back-up oplossing normaal gesproken uit/off-line. Ik ga denk ik gewoon beginnen met een externe disk die ik heb en op de lange termijn een keer een NAS aanschaffen. Nog een vraagje dan. Heb jij je OMV storage in RAID opstelling, zo ja welke? En hetzelfde geldt eigenlijk voor je NAS, in RAID en zo ja welke RAID?

[Cardinal]

@jasperdgie Dat, of de NAS wensen in de koelkast zetten tot je een Synology aanschaft.
Voor de meeste software eisen kan je prima uit de voeten met een NUC. Zeker gezien je 24/7 wil draaien is een laag stroomverbuik gewenst, dus een Celeron/i3 zou voldoende moeten zijn.

[Cyphax]

jasperdgie schreef op vrijdag 15 september 2023 @ 14:05:
Nog een vraagje dan. Heb jij je OMV storage in RAID opstelling, zo ja welke? En hetzelfde geldt eigenlijk voor je NAS, in RAID en zo ja welke RAID?

Nee, ik heb niets in RAID, ik heb er een LVM van gemaakt in het begin (toen deze server nog alleen fileserver was ipv hypervisor) om iets van striping voor elkaar te krijgen (een nieuwe disk kan ik eraan toevoegen en dan het fs vergroten) maar er is geen redundancy; als 1 van de disks faalt moet ik op de backups terugvallen. Er is niet zo heel veel data die elke dag verandert dus in elk geval de Nextcloud-data. Telefoons synchroniseren ook dagelijks met die Nextcloud-instantie.

[MJV]

Ik ben nieuw met proxmox, maar krijg het niet lekker aan de praat. Het vreemde probleem waar ik tegen aanloop met installeren van de 8.0 iso is dat de pc bij 70% telkens restart (hij valt uit), en daarna natuurlijk niet boot omdat de installatie niet is voltooid.

Ik heb vervolgens 7.4 geinstalleerd. Dat ging echter ook niet helemaal probleemloos. Pas na een aantal restarts via de draaide het systeem stabiel.

Daarna heb ik geprobeerd van 7.4 naar 8.0 te upraden, via apt-update en apt-dist update (conform instructies), maar dan valt het systeem daarna weer uit en komt het in een reboot loop terecht.

Hardware:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i7-8700 Boxed	€ 302,85	€ 302,85
1	Moederborden	ASRock H310CM-DVS	€ 43,67	€ 43,67
1	Geheugen intern	Kingston KTM-SX421/8G	€ 0,-	€ 0,-
1	Voedingen	Mini-box picoPSU 90	€ 36,47	€ 36,47
1	Solid state drives	Crucial MX500 2,5" 500GB	€ 31,99	€ 31,99
Bekijk collectie Importeer producten			Totaal	€ 414,98

Zie ik iets over het hoofd? Is mijn hardware niet compatibel met 8.0?

Ik heb reeds geprobeerd diverse BIOS settings aan te passen, zonder succes. Ook installeren van 8.0 vanaf ee andere USB-stick had geen andere uitkomst.

[GoBieN-Be]

@jasperdgie
Als je ECC wilt dan zijn een aantal van de AMD systemen (met DDR4) het overwegen waard.
Ik heb bijvoorbeeld een server'tje met AMD Ryzen 7 5800X CPU en ECC DDR4 RAM op een Asrock Rack moederbordje. Dat moederbordje had ook nog eens IPMI en VGA onboard dus helemaal in orde.
Of als je CPU met geïntegreerde GPU wilt voor in een normaal moederbord kijk je naar Ryzen G pro serie, die heeft ook ECC. Enkel de nu meest recente generaties met DDR5 dan weer niet denk ik. Informeer je even.

Mijn systeem met bovengenoemd mobo en CPU verbruikt met 2x NVME SSD en 8x SATA SSD gemiddeld zo'n 68W met een 8-tal VM's actief en een 15-tal Docker containers (waaronder ook HA en Frigate ...).

Aangezien je begaan met stroomverbruik kan je eventueel ook voor 2 systemen kiezen.
Een zeer zuinig systeem als NAS dat 24/7 draait (zie Het grote zuinige server topic - deel 3), daar zijn voorbeelden van systemen met NAS functionaliteit die slechts 8W verbruiken.

Je performante systeem om mee te experimenteren staat dan gewoon uit, en start je slechts op wanneer nodig. Je moet anders even rekenen met je stroom prijs en wat het totaal bedrag aan stroom wordt voor 24/7 5 jaar ver.

Afhankelijk van je storage noden de grootte van je SSD's kun je ook gewoon iedere aangesloten disk als single disk configureren zonder enige vorm van RAID.
Zo doe ik het mijn server met 10 disks, maar dat is persoonlijke keuze.

[ Voor 5% gewijzigd door GoBieN-Be op 15-09-2023 21:37 ]

[nero355]

jasperdgie schreef op vrijdag 15 september 2023 @ 10:44:
Ik lees af en toe nog verhalen dat OMV wat minder stabiel en problemen kan opleveren met updates.

Ik vind al die TrueNAS en OMV en weet ik het wat distributies installeren voor NAS doeleinden best wel overkill heel eerlijk gezegd...

Wil jij een NAS hebben ?!
Dan installeer je :
- Een Linux distro naar keuze zo kaal mogelijk of laten we zeggen FreeBSD zo kaal mogelijk.
- Configureer je iets van Software RAID via MDRAID i.c.m. EXT4 of XFS of gewoon alles via ZFS meteen.
- Configureer je Samba een beetje...

En KLAAR!!!

Ja, de reden dat dat ik een beetje huiverig ben voor een NAS zijn de kosten.
Een synology NAS inclusief schijven past op dit moment niet helemaal in mijn budget en het zijn toch ook weer extra stroomkosten?

Al die kant en klare NASjes zijn IMHO helemaal R-U-K !!!

Je zit daarmee zoo zwaar aan hun kant en klare software vast die vaak een soort BusyBox achtige toestand is i.c.m. allerlei (Vendor Locked) modules dat je daar echt totaal niet blij van wordt op het moment dat er wat mis is gegaan en je het een ander wilt troubleshooten op de reguliere Linux/*BSD manieren!


Kortom :

Doe jezelf een plezier en ga gewoon lekker stap voor stap aan de slag met alles en neem de tijd om hetgene waarmee je bezig bent goed te leren kennen, want daar word je uiteindelijk gewoon gelukkiger van

MJV schreef op vrijdag 15 september 2023 @ 20:30:
Ik ben nieuw met proxmox, maar krijg het niet lekker aan de praat. Het vreemde probleem waar ik tegen aanloop met installeren van de 8.0 iso is dat de pc bij 70% telkens restart (hij valt uit), en daarna natuurlijk niet boot omdat de installatie niet is voltooid.

Ik heb vervolgens 7.4 geinstalleerd. Dat ging echter ook niet helemaal probleemloos. Pas na een aantal restarts via de draaide het systeem stabiel.

Daarna heb ik geprobeerd van 7.4 naar 8.0 te upraden, via apt-update en apt-dist update (conform instructies), maar dan valt het systeem daarna weer uit en komt het in een reboot loop terecht.

Hardware:
uitvoering: Intel Core i7-8700 Boxed
uitvoering: ASRock H310CM-DVS"]ASRock H310CM-DVS
uitvoering: Mini-box picoPSU 90

Zie ik iets over het hoofd? Is mijn hardware niet compatibel met 8.0?

Ik heb reeds geprobeerd diverse BIOS settings aan te passen, zonder succes.
Ook installeren van 8.0 vanaf ee andere USB-stick had geen andere uitkomst.

Ik gok dat :
- Je PicoPSU van 90 Watt en die Intel i7 8700 elkaar niet leuk vinden op het moment dat die echt wat gaat doen!
- Dat H310 moederbordje en die Intel i7 8700 elkaar misschien ook niet leuk vinden, want te slappe VRM's op een H Serie Chipset moederbordje dat eigenlijk niet voor zo'n CPU is bedoeld !!

Verder kan je natuurlijk altijd nog effe eerst beginnen met iets van MemTest86+ draaien of zo

[GoBieN-Be]

Synology is marktleider wat betreft NAS systemen voor consumer en prosumer. En hun apparaten zijn van zeer hoge kwaliteit. Ook de extra software pakketten en de apps voor smartphone werken enorm goed.

De bedoeling van zo'n Synology is dan ook dat je helemaal niet zelf moet onder de motorkap duiken. Die systemen werken gewoon goed. Ik heb er al veel gezet professioneel en heb er zelf ook, en de kwaliteit is superieur aan andere merken zoals Qnap of Thecus of Segate of WD of ...

Versta me niet verkeerd, het is zeer leuk spelen met Linux, maar soms is een NAS die gewoon goed werkt best leuk!

[powerboat]

GoBieN-Be schreef op vrijdag 15 september 2023 @ 22:46:
Synology is marktleider wat betreft NAS systemen voor consumer en prosumer. En hun apparaten zijn van zeer hoge kwaliteit. Ook de extra software pakketten en de apps voor smartphone werken enorm goed.

De bedoeling van zo'n Synology is dan ook dat je helemaal niet zelf moet onder de motorkap duiken. Die systemen werken gewoon goed. Ik heb er al veel gezet professioneel en heb er zelf ook, en de kwaliteit is superieur aan andere merken zoals Qnap of Thecus of Segate of WD of ...

Versta me niet verkeerd, het is zeer leuk spelen met Linux, maar soms is een NAS die gewoon goed werkt best leuk!

Dan verkies ik nog altijd een TrueNAS boven een Synology, mede door de schaalbaarheid en gebruikersgemak, ik vind die gui van Synology afgrijselijk maar dat is natuurlijk subjectief

[GoBieN-Be]

Synology heeft ook Photo, Surveillance, Sync, Audio, Video en nog meer.
Telkens met Apps op smartphone die goed werken.

Het is gewoon voor een ander doelpubliek. En de GUI van DSM7 vind ik wel mooi.
Ik gebruik trouwens ook Xpenology in een VM.

[MJV]

nero355 schreef op vrijdag 15 september 2023 @ 22:35:

Ik gok dat :
- Je PicoPSU van 90 Watt en die Intel i7 8700 elkaar niet leuk vinden op het moment dat die echt wat gaat doen!
- Dat H310 moederbordje en die Intel i7 8700 elkaar misschien ook niet leuk vinden, want te slappe VRM's op een H Serie Chipset moederbordje dat eigenlijk niet voor zo'n CPU is bedoeld !!

Verder kan je natuurlijk altijd nog effe eerst beginnen met iets van MemTest86+ draaien of zo

Ik was er al een beetje bang voor. Ik heb dat moederbordje puur op basis van zuinigheid en de juiste socket gekozen, ben me nu bewust geweest dat er nog meer criteria waren. CPU kwam uit een andere PC die was overleden.

Liep er ook al tegen aan dat moederbord (en cpu?) geen IOMMU ondersteunen waardoor ik geen PCIe Passthrough kan toepassen voor een OPNSense VM die ik wilde gaan gebruiken.

us misschien een zuinigere (i3, i5?) CPU voor deze machine, en dan maar rustig nadenken hoe ik een eventuele andere hypervisor in zou willen richten. Ondanks dat ik tevreden ben over mijn Synology DS918+ zou ik die op termijn een keer willen vervangen. Dus ik lees de discussie hierover met belangstelling mee.

Geheugen had ik al eens verwisseld met iets wat ik nieuw had liggen, dat lijkt het euvel dus niet.

[Cardinal]

@MJV de piek belasting van die CPU is 120 watt (TDP is gemiddeld) en je hebt een 90 watt voeding....

[MJV]

Cardinal schreef op zaterdag 16 september 2023 @ 07:19:
@MJV de piek belasting van die CPU is 120 watt (TDP is gemiddeld) en je hebt een 90 watt voeding....

Ja, niet goed over nagedacht. Ik zit inmiddels V&A door te spitten, zoiets zou bijvoorbeeld veel beter zijn ben ik achter:
uitvoering: Intel Core i3-6100T Tray

[Airw0lf]

Ik heb twee proxmox servertjes in gebruik - beiden 7.4.

Bij de ene staat het scherm vol met allerhande meldingen - bij de andere is dat niet het geval.
Beide /etc/rsyslog.conf bestanden hebben dezelfde content.

Is er nog iets anders in te stellen waardoor die meldingen op het scherm gezet worden?
En wat/waar zou dat kunnen zitten?

[rachez]

Airw0lf schreef op zaterdag 16 september 2023 @ 12:22:
Bij de ene staat het scherm vol met allerhande meldingen

Om wat voor meldingen gaat het dan?

[GioStyle]

nero355 schreef op vrijdag 15 september 2023 @ 22:35:
[...]

Ik vind al die TrueNAS en OMV en weet ik het wat distributies installeren voor NAS doeleinden best wel overkill heel eerlijk gezegd...

Wil jij een NAS hebben ?!
Dan installeer je :
- Een Linux distro naar keuze zo kaal mogelijk of laten we zeggen FreeBSD zo kaal mogelijk.
- Configureer je iets van Software RAID via MDRAID i.c.m. EXT4 of XFS of gewoon alles via ZFS meteen.
- Configureer je Samba een beetje...

En KLAAR!!!

Ik snap best dat niet iedereen zit te wachten op een relatief steile learning curve, maar Debian + ZFS + Samba en je bent aardig op weg. Met een paar commando's erbij heb je ook nog eens Docker. 't Enige wat je mist is een webGUI voor het OS, maar om daar nou speciaal TrueNAS voor te gebruiken is in mijn ogen een beetje onzinnig.

[orvintax]

GioStyle schreef op zaterdag 16 september 2023 @ 17:58:
[...]


Ik snap best dat niet iedereen zit te wachten op een relatief steile learning curve, maar Debian + ZFS + Samba en je bent aardig op weg. Met een paar commando's erbij heb je ook nog eens Docker. 't Enige wat je mist is een webGUI voor het OS, maar om daar nou speciaal TrueNAS voor te gebruiken is in mijn ogen een beetje onzinnig.

En dan door onwetenheid vergeten scrubs in te stellen..

[GioStyle]

orvintax schreef op zaterdag 16 september 2023 @ 18:35:
[...]

En dan door onwetenheid vergeten scrubs in te stellen..

Dat is niet een probleem, want:

Debian by default has a cron job entry to scrub all pools on the second Sunday of every month at 24 minutes past midnight. It is possible to disable this by setting a zfs user defined property on the root dataset for a pool.

[RobertMe]

GioStyle schreef op zaterdag 16 september 2023 @ 18:48:
[...]


Dat is niet een probleem, want:


[...]

Moet je wel nog de reporting zelf goed inregelen. Een mailtje naar root gestuurd door de standaard ZED configuratie schiet dan niet op.

[_Eend_]

GioStyle schreef op zaterdag 16 september 2023 @ 17:58:
[...]


Ik snap best dat niet iedereen zit te wachten op een relatief steile learning curve, maar Debian + ZFS + Samba en je bent aardig op weg. Met een paar commando's erbij heb je ook nog eens Docker. 't Enige wat je mist is een webGUI voor het OS, maar om daar nou speciaal TrueNAS voor te gebruiken is in mijn ogen een beetje onzinnig.

Als je echt een webgui wil hebben kun je ook Red Hat of een fork ervan gebruiken. Daar zit Cockpit bij ingebakken: https://www.redhat.com/sysadmin/intro-cockpit

[ge-flopt]

Is er een manier om een thin provisioned disk al wat ruimte te alloceren?

Ben wat grote files aan het kopieren en als de virtuele disk de ruimte al beschikbaar heeft (bv een andere file is verwijderd), tot hij bij het einde van de disk is, dan stort de copieer opdracht qua snelheid in.
Wil dus nu testen of het werkt als ik de virtuele disk alvast de ruimte vooruit kan alloceren.

[Airw0lf]

rachez schreef op zaterdag 16 september 2023 @ 17:52:
[...]

Om wat voor meldingen gaat het dan?

Meldingen die ik in syslog zou verwachte zoals services die gestart/gestopt worden, samba shares die beschikbaar komen omdat de nas opnieuw gestart is, netwerk interfaces die op- of af-schakelen - dat soort meldingen.

[nero355]

GoBieN-Be schreef op vrijdag 15 september 2023 @ 22:46:
Synology is marktleider wat betreft NAS systemen voor consumer en prosumer. En hun apparaten zijn van zeer hoge kwaliteit. Ook de extra software pakketten en de apps voor smartphone werken enorm goed.

De bedoeling van zo'n Synology is dan ook dat je helemaal niet zelf moet onder de motorkap duiken. Die systemen werken gewoon goed. Ik heb er al veel gezet professioneel en heb er zelf ook, en de kwaliteit is superieur aan andere merken zoals Qnap of Thecus of Segate of WD of ...

Versta me niet verkeerd, het is zeer leuk spelen met Linux, maar soms is een NAS die gewoon goed werkt best leuk!

Allemaal leuk en aardig... totdat... het ineens niet meer werkt of er iets aangepast moet worden dat niet mogelijk is door de hele opzet !!

GoBieN-Be schreef op vrijdag 15 september 2023 @ 22:59:
Synology heeft ook Photo, Surveillance, Sync, Audio, Video en nog meer.
Telkens met Apps op smartphone die goed werken.

Ik heb het niet zo op rommelen met apps op mijn telefoon en gebruik niet eens meer Android dus voor mij totaal niet relevant

Het is gewoon voor een ander doelpubliek. En de GUI van DSM7 vind ik wel mooi.

Ik vind het maar raar dat je door een browser heen naar een soort OS GUI Desktop toestand kijkt...

Ik gebruik trouwens ook Xpenology in een VM.

Dus toch maar geen kant en klare NAS

MJV schreef op zaterdag 16 september 2023 @ 06:58:
Ik was er al een beetje bang voor. Ik heb dat moederbordje puur op basis van zuinigheid en de juiste socket gekozen, ben me nu bewust geweest dat er nog meer criteria waren. CPU kwam uit een andere PC die was overleden.

Koop gewoon een normale voeding en een Z Chipset Series moederbord : Word je gelukkiger van!

Al die B/H/weet ik het wat meuk is altijd een gepruts dat je liever niet wilt...

Liep er ook al tegen aan dat moederbord (en cpu?) geen IOMMU ondersteunen waardoor ik geen PCIe Passthrough kan toepassen voor een OPNSense VM die ik wilde gaan gebruiken.

Dat zal dan het moederbord/Chipset zijn waarschijnlijk...

Alles vanaf de i3 modellen moet gewoon VT-D kunnen doen en er zijn zelfs bepaalde G Serie modellen die het kunnen, zoals vroeger de welbekende G6000 en G7000 modellen

GioStyle schreef op zaterdag 16 september 2023 @ 17:58:
Ik snap best dat niet iedereen zit te wachten op een relatief steile learning curve, maar Debian + ZFS + Samba en je bent aardig op weg. Met een paar commando's erbij heb je ook nog eens Docker.

Precies!

Het enige wat je mist is een webGUI voor het OS, maar om daar nou speciaal TrueNAS voor te gebruiken is in mijn ogen een beetje onzinnig.

Effe snel WebMin erop knallen en dat probleem is ook gelijk opgelost!

orvintax schreef op zaterdag 16 september 2023 @ 18:35:
En dan door onwetenheid vergeten scrubs in te stellen..

Die is al een aantal jaren standaard aanwezig hoor!

_Eend_ schreef op zaterdag 16 september 2023 @ 21:22:
Als je echt een webgui wil hebben kun je ook Red Hat of een fork ervan gebruiken.
Daar zit Cockpit bij ingebakken: https://www.redhat.com/sysadmin/intro-cockpit

Zijn ze daar eindelijk tot het besef gekomen dat je liever geen Desktop GUI op een Server wilt draaien ??

Airw0lf schreef op zondag 17 september 2023 @ 12:48:
Meldingen die ik in syslog zou verwachte zoals services die gestart/gestopt worden, samba shares die beschikbaar komen omdat de nas opnieuw gestart is, netwerk interfaces die op- of af-schakelen - dat soort meldingen.

Bedoel je zoiets : https://superuser.com/que...-from-flooding-my-console

Ik gok dan dat je op zoiets moet zoeken : https://duckduckgo.com/?q...ux+console+logging&ia=web

Het is zo lang geleden dat ik daar iets aan moest doen dat ik helaas niet meer weet hoe je dat het snelst en effectiefst sloopt...

[_Eend_]

nero355 schreef op dinsdag 19 september 2023 @ 18:57:

[...]

Zijn ze daar eindelijk tot het besef gekomen dat je liever geen Desktop GUI op een Server wilt draaien ??


[...]

Een standaard server installatie van RHEL installeert geen Gnome

Daar moet je al sinds RHEL 6 (met oudere versies heb ik geen ervaring) de desktop optie aanvinken vziw

[ZatarraNL]

Wat zouden jullie doen:
Momenteel draai ik een 3-node proxmox/ceph cluster. Deze cluster werkt goed en bevat diverse (ca. 15) VM's en containers. De ceph-cluster bestaat nu uit:
- 3 stuks Intel DC D3-S4510 2,5" 1,92TB (OSD's)
- diverse Samsung PM893 voor WAL's en DB's

Voor HA heel fijn. Maar ik heb besloten dat het voor mij toch een beetje te gek is. Ik wil van 3 computers naar 1 computer. Ik wil toch proberen mijn stroomverbruik te reduceren. Mijn backup is prima in orde (zowel offline als offsite), dus daar hoef ik me niet druk om te maken. En HA is voor mij niet echt nodig.

Oftewel, ik heb diverse SSD's die ik ook anders in kan zetten. Een logische keuze voor één machine is ZFS. Ik twijfel aan:
- Is ZFS inderdaad de juiste keuze?
- ZFS raidz10 of raidz1 (performance of toch parity)? Een 4e schijf erbij kopen is eventueel mogelijk als dat beter is.
- Ashift 12 bij een sectorsize van 512/512e?
- Of geeft ZFS zo'n prestatiedrop dat ik dit niet moet overwegen?
- nog andere zaken waar ik rekening mee moet houden?

IO is belangrijker dan snelheid. In de huidige ceph-cluster is de IO-delay verwaarloosbaar en de bandbreedte is voldoende om mijn 1Gb netwerk te verzadigen.

Wat zouden jullie doen?

[GoBieN-Be]

nero355 schreef op dinsdag 19 september 2023 @ 18:57:

Dus toch maar geen kant en klare NAS

Ik heb zowel echte Synology's en Xpenology VM's.
Ik gebruik zowel ESXi, Proxmox en Docker.
Ik gebruiker zowel Windows (met GUI) en Linux (zonder GUI).

Ik vind het interessant om brede kennis en ervaring op te doen.

[ Voor 8% gewijzigd door GoBieN-Be op 19-09-2023 21:37 ]

[vortexnl1982]

Heeft iemand ervaring met kubernetes draaien in een lcx container(s) ?

Ik loop elke keer tegen gezeur aan tussen proxmox en k8s. Ik heb zelf helper scripts gebruikt zoals "k0s Kubernetes LXC" en krijg dan dit soort fouten :

failed to create kubelet: open /dev/kmsg: no such file or directory" component=kubelet stream=stderr

Ik had een tijd geleden ook al proberen met dockers in lcx containers draaien. Dat had dan weer te maken met ZFS wat uiteindelijk met een update weer opgelost is. Maar kubernetes aan de praat krijgen lukt nu nog steeds niet..

Iemand een goede tip of helper script wat zo'n cluster voor me opzet zonder gedoe ?

[laurens75]

ZatarraNL schreef op dinsdag 19 september 2023 @ 21:14:
Wat zouden jullie doen:
Momenteel draai ik een 3-node proxmox/ceph cluster. Deze cluster werkt goed en bevat diverse (ca. 15) VM's en containers. De ceph-cluster bestaat nu uit:
- 3 stuks Intel DC D3-S4510 2,5" 1,92TB (OSD's)
- diverse Samsung PM893 voor WAL's en DB's

Voor HA heel fijn. Maar ik heb besloten dat het voor mij toch een beetje te gek is. Ik wil van 3 computers naar 1 computer. Ik wil toch proberen mijn stroomverbruik te reduceren. Mijn backup is prima in orde (zowel offline als offsite), dus daar hoef ik me niet druk om te maken. En HA is voor mij niet echt nodig.

Oftewel, ik heb diverse SSD's die ik ook anders in kan zetten. Een logische keuze voor één machine is ZFS. Ik twijfel aan:
- Is ZFS inderdaad de juiste keuze?
- ZFS raidz10 of raidz1 (performance of toch parity)? Een 4e schijf erbij kopen is eventueel mogelijk als dat beter is.
- Ashift 12 bij een sectorsize van 512/512e?
- Of geeft ZFS zo'n prestatiedrop dat ik dit niet moet overwegen?
- nog andere zaken waar ik rekening mee moet houden?

IO is belangrijker dan snelheid. In de huidige ceph-cluster is de IO-delay verwaarloosbaar en de bandbreedte is voldoende om mijn 1Gb netwerk te verzadigen.

Wat zouden jullie doen?

Mijn ervaring met ZFS is goed. Ik draai al sinds 2020 een Proxmox VE homeserver op een gewone zelfbouw Core i3 PC met 3 SSDs en 4 HDDs. Gestart in 2020 met PVE 6 en upgraded naar 7 en vervolgens 8. Tot nu toe geen problemen met ZFS gehad. Heb het simpel gehouden en heb geen RAIDZ volumes maar een drietal mirror0 pools. Als ik me goed herinner is dit beter voor performance. Zou ik even op Googelen voordat je zpools gaat maken.

Mirror0 is weliswaar minder efficiënt met disk space, maar heb niet veel space nodig en de kosten van disks zijn laag tegenwoordig (heb een 1TB SSD mirror en 2 3TB HDD mirrors). Allemaal ashift12. Ook de HDDs (sectorsize 512) met oog op vervanging door nieuwere schijven in de toekomst. Ashift kun je nooit meer wijzigen en zo kan ik de drives in de toekomst upgraden door die een voor een te vervangen (en te resilveren) en door op die manier de zpool te handhaven.

De root heb ik op een single 256 SSDtje EXT4 gedaan om gedoe met een ZFS root te voorkomen. Als die crasht is het systeem snel zat weer fresh geïnstalleerd met de backup van de configs. Doe verder toch nauwelijks iets op de PVE host, alles vindt plaats in containers/VMs.

Ik gebruik ZFS native encryption + compression op de ZFS drives. Encryption performance geen probleem door AESNI.

De recordsize van datasets heb ik meestal default gelaten, met uitzondering voor een paar 16k datasets voor mysql data en een paar 1024k voor datasets voor grote bestanden (films e.d.). Zou ik wel even nakijken, staat me iets van bij dat voor bv. VMs op een RAIDZ drive de recordsize moest worden gecustomized om een goede align met de fysieke recordsize op de onderliggende drives te krijgen.

Voordeel van ZFS vind ik dat je die encrypted volumes raw kan replicaten naar een externe drive of computer via SSH. Met sanoid/syncoid wordt backuppen dan ook goed te managen, en de encryption key hoeft de server niet te verlaten. Snapshots gebruik ik ook regelmatig voor de containers en VMs. Uit de snapshots kun je ook single files terughalen, heb ik ook af en toe gebruikt.

ZFS met mirror0 of RAIDZ geeft ook bitrot protection, ook wel fijn.

Enige punt met ZFS is dat het RAM vreet. 1GB RAM per elke 1TB storage is de aangeraden norm. Met weinig RAM schijnt het niet lekker te lopen. Met die 1TB en 2x 3TB mirrors is de 12GB RAM die ik heb opgegeven als limit altijd snel volledig in gebruik na het booten.

[ Voor 6% gewijzigd door laurens75 op 19-09-2023 23:23 ]

[ZatarraNL]

laurens75 schreef op dinsdag 19 september 2023 @ 23:02:
[...]


Mijn ervaring met ZFS is goed. Ik draai al sinds 2020 een Proxmox VE homeserver op een gewone zelfbouw Core i3 PC met 3 SSDs en 4 HDDs. Gestart in 2020 met PVE 6 en upgraded naar 7 en vervolgens 8. Tot nu toe geen problemen met ZFS gehad. Heb het simpel gehouden en heb geen RAIDZ volumes maar een drietal mirror0 pools. Als ik me goed herinner is dit beter voor performance. Zou ik even op Googelen voordat je zpools gaat maken.

Mirror0 is weliswaar minder efficiënt met disk space, maar heb niet veel space nodig en de kosten van disks zijn laag tegenwoordig (heb een 1TB SSD mirror en 2 3TB HDD mirrors). Allemaal ashift12. Ook de HDDs (sectorsize 512) met oog op vervanging door nieuwere schijven in de toekomst. Ashift kun je nooit meer wijzigen en zo kan ik de drives in de toekomst upgraden door die een voor een te vervangen (en te resilveren) en door op die manier de zpool te handhaven.

De root heb ik op een single 256 SSDtje EXT4 gedaan om gedoe met een ZFS root te voorkomen. Als die crasht is het systeem snel zat weer fresh geïnstalleerd met de backup van de configs. Doe verder toch nauwelijks iets op de PVE host, alles vindt plaats in containers/VMs.

Ik gebruik ZFS native encryption + compression op de ZFS drives. Encryption performance geen probleem door AESNI.

De recordsize van datasets heb ik meestal default gelaten, met uitzondering voor een paar 16k datasets voor mysql data en een paar 1024k voor datasets voor grote bestanden (films e.d.). Zou ik wel even nakijken, staat me iets van bij dat voor bv. VMs op een RAIDZ drive de recordsize moest worden gecustomized om een goede align met de fysieke recordsize op de onderliggende drives te krijgen.

Voordeel van ZFS vind ik dat je die encrypted volumes raw kan replicaten naar een externe drive of computer via SSH. Met sanoid/syncoid wordt backuppen dan ook goed te managen, en de encryption key hoeft de server niet te verlaten. Snapshots gebruik ik ook regelmatig voor de containers en VMs. Uit de snapshots kun je ook single files terughalen, heb ik ook af en toe gebruikt.

ZFS met mirror0 of RAIDZ geeft ook bitrot protection, ook wel fijn.

Enige punt met ZFS is dat het RAM vreet. 1GB RAM per elke 1TB storage is de aangeraden norm. Met weinig RAM schijnt het niet lekker te lopen. Met die 1TB en 2x 3TB mirrors is de 12GB RAM die ik heb opgegeven als limit altijd snel volledig in gebruik na het booten.

Dank voor je uitgebreide reactie. Wat ik misschien even had moeten melden is dat ik ook zeker wel ervaring heb met zfs. Ik draai tegelijk een raid10 zfs met 4x een 8Tb hdd en Nvme ARC cache. En mijn root draait overigens ook op een mirror zfs. Dat werkt allemaal prima. Beide pools al eens een schijf moeten resilveren. Dus mijn ervaringen zijn positief.

Het gaat mij er vooral om hoe geschikt het is voor ssd's. Ik lees op internet ook performance issues met ssd, ik vermoed omdat zfs niet echt gemaakt is voor ssd's. Vooral mijn IO moet gewoon goed zijn. Dat is het nu met ceph ook.

Mijn RAM zit wel goed. Ik heb 64Gb ECC. Als het nodig is kan dat nog wat bij.

Overigens goede tips over shift en record size van de datasets. Dat ga ik me in verdiepen. Dank.

[nero355]

_Eend_ schreef op dinsdag 19 september 2023 @ 19:47:
Een standaard server installatie van RHEL installeert geen Gnome

Daar moet je al sinds RHEL 6 (met oudere versies heb ik geen ervaring) de desktop optie aanvinken vziw

Ik kan me de GUI voorbeelden van Red Hat nog heel goed herinneren, maar dat was echt 15+ jaar geleden dus ik kan me voorstellen dat niet iedereen weet wat ik bedoelde

GoBieN-Be schreef op dinsdag 19 september 2023 @ 21:36:
Ik heb zowel echte Synology's en Xpenology VM's.
Ik gebruik zowel ESXi, Proxmox en Docker.
Ik gebruiker zowel Windows (met GUI) en Linux (zonder GUI).

Ik vind het interessant om brede kennis en ervaring op te doen.

Tja, hier is Windows eigenlijk alleen maar een Gaming OS en zelfs die tijd zou weleens vanaf volgend jaar voorbij kunnen zijn, want mijn good old Windows 7 Pro naar welke nieuwere versie dan ook upgraden zie ik echt totaal niet zitten dus Linux i.c.m. Proton is absoluut niet uitgesloten!

Verder gebruik ik zoveel mogelijk Linux/*BSD en DIY HTPC/NAS/PC/enz. waarbij zelfs mijn telefoon geen Android of iOS draait en ik liever Ubuntu Touch/Jolla Sailfish/PostmarketOS/enz. daarop zet!

ZatarraNL schreef op dinsdag 19 september 2023 @ 21:14:
- Is ZFS inderdaad de juiste keuze?

Wat mij betreft zo goed als altijd, tenzij een apparaat waarop het niet boeiend genoeg is zoals een Laptop met maar één SSD erin

- ZFS raidz10 of raidz1 (performance of toch parity)? Een 4e schijf erbij kopen is eventueel mogelijk als dat beter is.

Daar bestaan mooie voorbeelden/afbeeldingen voor die je in Het grote ZFS topic kan vinden als het goed is

- Ashift 12 bij een sectorsize van 512/512e?

Dat wordt tegenwoordig automatisch gedetecteerd en goed gezet IIRC

laurens75 schreef op dinsdag 19 september 2023 @ 23:02:
Ashift kun je nooit meer wijzigen

Volgens mij wel, maar handig is anders : Je moet dan alle data opnieuw gaan wegschrijven!

Enige punt met ZFS is dat het RAM vreet. 1GB RAM per elke 1TB storage is de aangeraden norm.
Met weinig RAM schijnt het niet lekker te lopen.

Dat is een achterhaalde gedachte en totaal afhankelijk van je wensen!

Ga je echter met deduplication aan de slag dan ga je inderdaad wel al gauw richting die cijfers!
Maar wie doet dat nou thuis...

Met die 1TB en 2x 3TB mirrors is de 12GB RAM die ik heb opgegeven als limit altijd snel volledig in gebruik na het booten.

Dat is mooi, want dan is je ARC lekker effectief bezig!

Overigens kan je dat ook limiteren op laten we zeggen minimaal 8 GB dus zo'n ramp is het nou ook weer niet...

[_Eend_]

nero355 schreef op woensdag 20 september 2023 @ 19:08:
[...]

Ik kan me de GUI voorbeelden van Red Hat nog heel goed herinneren, maar dat was echt 15+ jaar geleden dus ik kan me voorstellen dat niet iedereen weet wat ik bedoelde

Ah ja, toen zat ik op school XP machines aan een SuSE bak te knopen met Samba 2.x

Wat een feest was dat

Tja, hier is Windows eigenlijk alleen maar een Gaming OS en zelfs die tijd zou weleens vanaf volgend jaar voorbij kunnen zijn, want mijn good old Windows 7 Pro naar welke nieuwere versie dan ook upgraden zie ik echt totaal niet zitten dus Linux i.c.m. Proton is absoluut niet uitgesloten!

[...]

Gewoon doen. Weg met die stokoude W7 installatie.

Ik ben al jaren helemaal over gestapt op Fedora en mis bijna niks. Ik kon alleen de bèta van de laatste Halo release niet spelen. Maar ik speel over het algemeen toch al geen hele nieuwe games, daar heb ik een PS4 voor

Ik heb meer gezeik met DaVinci Resolve, dat native op Linux draait, dan met de meeste games. Hooguit wat kleine dingetjes en 9 v/d 10 kun je op ProtonDB.com wel een oplossing er voor vinden.

[ Voor 5% gewijzigd door _Eend_ op 21-09-2023 08:44 ]

[nero355]

_Eend_ schreef op donderdag 21 september 2023 @ 08:43:
Gewoon doen. Weg met die stokoude W7 installatie.

Ja, maar... Photoshop Camera Raw...

Ik ben al jaren helemaal over gestapt op Fedora en mis bijna niks. Ik kon alleen de bèta van de laatste Halo release niet spelen. Maar ik speel over het algemeen toch al geen hele nieuwe games, daar heb ik een PS4 voor

Ik heb meer gezeik met DaVinci Resolve, dat native op Linux draait, dan met de meeste games. Hooguit wat kleine dingetjes en 9 v/d 10 kun je op ProtonDB.com wel een oplossing er voor vinden.

Door omstandigheden heb ik een SSD die ik zo in kan prikken en die Linux installatie verder op kan bouwen, maar ik weet nog niet echt hoe handig dat is i.c.m. de games die ik speel dus dat ga ik nog verder uitzoeken

[Airw0lf]

Afgelopen weekend Proxmox geupgrade naar versie 8.
In dat proces bleek systemd-resolved ineens verdwenen te zijn.
Na die opnieuw geinstalleerd te hebben zijn er andere interfaces bij gekomen:

code:

udp   UNCONN 0      0         127.0.0.54:53        0.0.0.0:*    users:(("systemd-resolve",pid=804,fd=15))               
udp   UNCONN 0      0      127.0.0.53%lo:53        0.0.0.0:*    users:(("systemd-resolve",pid=804,fd=13))               
tcp   LISTEN 0      4096   127.0.0.53%lo:53        0.0.0.0:*    users:(("systemd-resolve",pid=804,fd=14))               
tcp   LISTEN 0      4096      127.0.0.54:53        0.0.0.0:*    users:(("systemd-resolve",pid=804,fd=16))

Voorheen was dit enkel 127.0.0.53 - niks met %lo of 127.0.0.54
Iemand enig idee waar deze verandering vandaan komt?

[RobertMe]

Airw0lf schreef op maandag 25 september 2023 @ 15:00:
Afgelopen weekend Proxmox geupgrade naar versie 8.
In dat proces bleek systemd-resolved ineens verdwenen te zijn.
Na die opnieuw geinstalleerd te hebben zijn er andere interfaces bij gekomen:

code:

udp   UNCONN 0      0         127.0.0.54:53        0.0.0.0:*    users:(("systemd-resolve",pid=804,fd=15))               
udp   UNCONN 0      0      127.0.0.53%lo:53        0.0.0.0:*    users:(("systemd-resolve",pid=804,fd=13))               
tcp   LISTEN 0      4096   127.0.0.53%lo:53        0.0.0.0:*    users:(("systemd-resolve",pid=804,fd=14))               
tcp   LISTEN 0      4096      127.0.0.54:53        0.0.0.0:*    users:(("systemd-resolve",pid=804,fd=16))

Voorheen was dit enkel 127.0.0.53 - niks met %lo of 127.0.0.54
Iemand enig idee waar deze verandering vandaan komt?

In de zin van waarom systemd-resolvd nu gebruikt wordt? Ik meen dat dat een Debian upstream change is. (/potentieel systemd zelf die daar meer naar pusht?)

[Airw0lf]

RobertMe schreef op maandag 25 september 2023 @ 15:14:
[...]

In de zin van waarom systemd-resolvd nu gebruikt wordt? Ik meen dat dat een Debian upstream change is. (/potentieel systemd zelf die daar meer naar pusht?)

Nou - niet echt - ik heb systemd-resolved zelf handmatig geïnstalleerd - was verwijderd.

De vraag was meer: waar komt die 127.0.0.54 en %lo nou vandaan?
Want dat was voor de upgrade niet zo - was toen nog alleen 127.0.0.53.

[Cyphax]

Airw0lf schreef op maandag 25 september 2023 @ 15:25:
[...]


Nou - niet echt - ik heb systemd-resolved zelf handmatig geïnstalleerd - was verwijderd.

De vraag was meer: waar komt die 127.0.0.54 en %lo nou vandaan?
Want dat was voor de upgrade niet zo - was toen nog alleen 127.0.0.53.

Ik vermoed dat dit het wel verklaart

quote: https://www.freedesktop.o...emd-resolved.service.html

Additionally, systemd-resolved provides a local DNS stub listener on the IP addresses 127.0.0.53 and 127.0.0.54 on the local loopback interface. Programs issuing DNS requests directly, bypassing any local API may be directed to this stub, in order to connect them to systemd-resolved. Note however that it is strongly recommended that local programs use the glibc NSS or bus APIs instead (as described above), as various network resolution concepts (such as link-local addressing, or LLMNR Unicode domains) cannot be mapped to the unicast DNS protocol.

Die procent is misschien een separator van netstat (is het wel netstat?), misschien om adres en interface te scheiden van elkaar ofzoiets (ik gok maar wat, ik kon het zo gauw niet vinden ).

[Zenix]

Hoe is jullie ervaring met SSD's en Proxmox?
Ik heb een MX500 1TB, maar die zit op 25% wear na een kleine 2,5 jaar.

[ComTech]

Zenix schreef op zaterdag 30 september 2023 @ 14:49:
Hoe is jullie ervaring met SSD's en Proxmox?
Ik heb een MX500 1TB, maar die zit op 25% wear na een kleine 2,5 jaar.

Mijn ervaring is dat de meeste consumenten SSD's de wear erg snel oploopt.
Daarom heb ik ook een intel DC S4510 2,5 inch SSD
Deze voor een mooi prijsje 2e hand op tweakers gekocht, draait nu 1,5 jaar en nog steeds 0% wearout.
Deze SSD heeft een van TBW (Total Bytes Written) 7,1PB dus die kan wel even.
Er zijn ook best consumenten SSD's die een hoge TBW hebben maar niet zo hoog als deze.

[Mediacj]

Zenix schreef op zaterdag 30 september 2023 @ 14:49:
Hoe is jullie ervaring met SSD's en Proxmox?
Ik heb een MX500 1TB, maar die zit op 25% wear na een kleine 2,5 jaar.

Ik heb een Samsung SSD 980 1TB die na 2 jaar een wearout heeft van 15%. Dat lijkt me prima dan kan ik wellicht een kleine 15jr deze gebruiken, al is het 10jr is het ook prima zoals die van jouw tot nu toe.

[RobbyTown]

Afgelopen vrijdag prodesk vervangen voor een andere. Omdat i5-7500 geen update van 22H2 kan ontvangen upgrade naar prodesk i5-12500 aanwezig. VMs overgezet (nvr, Plex en prtg).

Nu zit ik met een vaag probleem.

2 weken terug last van packtloss. Na de boel van netwerk spullen te hebben gereset. Alles weer normaal tot vrijdag. Ik dacht eerst dat in het netwerk zat: RobbyTown in "[TP-Link Omada Netwerkapparatuur] Ervaringen & Discussie"

Wat blijkt nu. Zodra extern een Plex stream start klapt het internet eruit.

Iemand een idee als er in proxmox wat in te stellen valt om dit te voorkomen?

Beide prodesk heeft gedraaid/draaid op proxmox versie 8.0.4

[Airw0lf]

RobbyTown schreef op zondag 1 oktober 2023 @ 13:47:
Afgelopen vrijdag prodesk vervangen voor een andere. Omdat i5-7500 geen update van 22H2 kan ontvangen upgrade naar prodesk i5-12500 aanwezig. VMs overgezet (nvr, Plex en prtg).

Nu zit ik met een vaag probleem.

2 weken terug last van packtloss. Na de boel van netwerk spullen te hebben gereset. Alles weer normaal tot vrijdag. Ik dacht eerst dat in het netwerk zat: RobbyTown in "[TP-Link Omada Netwerkapparatuur] Ervaringen & Discussie"

Wat blijkt nu. Zodra extern een Plex stream start klapt het internet eruit.

Iemand een idee als er in proxmox wat in te stellen valt om dit te voorkomen?

Beide prodesk heeft gedraaid/draaid op proxmox versie 8.0.4

Zie ook mijn reactie in je Omada post over een poortprofiel voor servers:
Heb je die Proxmox poort(en) via ifup ingesteld?
En zo ja, wat zijn dan de instellingen in /etc/network/interfaces?

[ Voor 3% gewijzigd door Airw0lf op 01-10-2023 13:54 ]

[stormfly]

RobbyTown schreef op zondag 1 oktober 2023 @ 13:47:
Afgelopen vrijdag prodesk vervangen voor een andere. Omdat i5-7500 geen update van 22H2 kan ontvangen upgrade naar prodesk i5-12500 aanwezig. VMs overgezet (nvr, Plex en prtg).

Nu zit ik met een vaag probleem.

2 weken terug last van packtloss. Na de boel van netwerk spullen te hebben gereset. Alles weer normaal tot vrijdag. Ik dacht eerst dat in het netwerk zat: RobbyTown in "[TP-Link Omada Netwerkapparatuur] Ervaringen & Discussie"

Wat blijkt nu. Zodra extern een Plex stream start klapt het internet eruit.

Iemand een idee als er in proxmox wat in te stellen valt om dit te voorkomen?

Beide prodesk heeft gedraaid/draaid op proxmox versie 8.0.4

Draait je router ook virtueel? Is het probleem Proxmox gerelateerd of draait je router los en klapt die eruit?