Het grote Proxmox VE topic

[Koepert]

A1AD schreef op donderdag 29 juli 2021 @ 15:08:
[...]


Er is momenteel een bug in Adguard als je DoH gebruikt (naar buiten toe). Wanneer er timeouts zijn op je netwerkt stopt de DoH implementatie. Misschien heb je daar last van?

Dat zou kunnen.. Ik heb inmiddels, op dezelfde host, zelfde type, maar eigen container, pi-hole aangezet, kijken of die het langer volhoudt/dat wel goed gaat. Die voelt iig wat snappier.

Verwerkingstijd van AGH lag ook op 36ms. Nu is dat natuurlijk Ms..maar alsnog voelt dat wat traag/hoog aantal.

[A1AD]

Koepert schreef op donderdag 29 juli 2021 @ 15:10:
[...]


Dat zou kunnen.. Ik heb inmiddels, op dezelfde host, zelfde type, maar eigen container, pi-hole aangezet, kijken of die het langer volhoudt/dat wel goed gaat. Die voelt iig wat snappier.

Verwerkingstijd van AGH lag ook op 36ms. Nu is dat natuurlijk Ms..maar alsnog voelt dat wat traag/hoog aantal.

Dit is het issue waarover ik het had:
https://github.com/AdguardTeam/AdGuardHome/issues/2657

[orvintax]

DNS staat op "use host system" en daarbij vraag ik me af of dat goed gaat, hoewel de host mn fritzbox als DNS gebruikt.. die weer AdGuard als DNS heeft..

Mag ik vragen waarom je voor jouw netwerk AdGuard niet direct als DNS insteld? Cut out the middle man

[orvintax]

dcm360 schreef op donderdag 29 juli 2021 @ 13:49:
[...]

De non-subscription-repo heeft normaalgesproken updates eerder dan de enterprise-repo. Pas als updates en wijzigingen grondiger getest en gevalideerd zijn, gaan ze door naar de enterprise-repo. Op die manier heb ik de 5.11-kernel ook al even geprobeerd op Proxmox 6.4, met maar matige resultaten (de netwerkinterfaces stopten iedere dag).

Dat klopt, maar ik wil maar zeggen dat een mogelijk fix ook al in de enterprise repos zitten. Maw iedereen kan er aan.

[Koepert]

orvintax schreef op donderdag 29 juli 2021 @ 21:55:
[...]

Mag ik vragen waarom je voor jouw netwerk AdGuard niet direct als DNS insteld? Cut out the middle man

Omdat ik daar over twijfel 😐

M’n Fritzbox gebruikt als lokale dns t IP van een proxmox Lxc container. Dus bij de ipv4 settings. Bij dsl de dns vd provider.

De dns settings van die proxmoxcontainer zijn echter ‘use hostsettings’ (in webgui proxmox dus) en as far as I know gebruikt proxmox m’n Fritzbox als dns. Alleen… de container als dns voor proxmox. Gaat dat goed? Even voor zekerheid. AdGuard is dus n lxc container, geen Rpi of ander stand-alone device.

Alleen ik ben dit ook nog aan t opstarten dus twijfel over sommige best practices..

[nero355]

orvintax schreef op donderdag 29 juli 2021 @ 21:55:
Mag ik vragen waarom je voor jouw netwerk AdGuard niet direct als DNS insteld? Cut out the middle man

Omdat je dan de Registered Hostnames bij de DHCP Server niet voor lokaal DNS kan gebruiken gok ik

[orvintax]

Koepert schreef op donderdag 29 juli 2021 @ 22:05:
[...]


Omdat ik daar over twijfel 😐

M’n Fritzbox gebruikt als lokale dns t IP van een proxmox Lxc container. Dus bij de ipv4 settings. Bij dsl de dns vd provider.

De dns settings van die proxmoxcontainer zijn echter ‘use hostsettings’ (in webgui proxmox dus) en as far as I know gebruikt proxmox m’n Fritzbox als dns. Alleen… de container als dns voor proxmox. Gaat dat goed? Even voor zekerheid. AdGuard is dus n lxc container, geen Rpi of ander stand-alone device.

Alleen ik ben dit ook nog aan t opstarten dus twijfel over sommige best practices..

Dat gaat zeker goed, ik heb het hier thuis zelf ook. Bij 'use host settings' pakt de container de DNS servers die onder "jouw node" -> System -> DNS staan. Kleine kanttekening is wel dat ik MikroTik heb en geen Fritzbox, maar voor Proxmox zelf werkt dit sowieso.

[Koepert]

orvintax schreef op vrijdag 30 juli 2021 @ 14:51:
[...]

Dat gaat zeker goed, ik heb het hier thuis zelf ook. Bij 'use host settings' pakt de container de DNS servers die onder "jouw node" -> System -> DNS staan. Kleine kanttekening is wel dat ik MikroTik heb en geen Fritzbox, maar voor Proxmox zelf werkt dit sowieso.

Maar heb je dan bij Node --> System --> DNS het IP van je MicroTik staan of van je pihole container?

[orvintax]

Koepert schreef op vrijdag 30 juli 2021 @ 14:57:
[...]


Maar heb je dan bij Node --> System --> DNS het IP van je MicroTik staan of van je pihole container?

Van mijn pihole container, naar mijn MikroTik heeft niet veel nut want die staat ook op de pihole gericht

[powerboat]

Hebben jullie bij Proxmox 7 last van een vernachelde gui ?

[Mozart]

Nee, werkt prima.

[nero355]

powerboat schreef op vrijdag 30 juli 2021 @ 21:36:
Hebben jullie bij Proxmox 7 last van een vernachelde gui ?

Dump eens de Cache van je browser of richt een apart Profiel in voor Proxmox beheer die dat standaard doet!

[powerboat]

nero355 schreef op maandag 2 augustus 2021 @ 17:30:
[...]

Dump eens de Cache van je browser of richt een apart Profiel in voor Proxmox beheer die dat standaard doet!

Thx voor de tip! Kreeg de ingeving toen ik het poste

[dennisdew16]

Goedenavond,

Ik ben helemaal nieuw met proxmox en hoop dat iemand me kan helpen. Heb net via een script unifi controller geinstalleerd(denk als container?) maar heb van te voren geen container aangemaakt realiseer ik me net. Dus ergens staat nu unifi geinstalleerd maar deze wil ik verwijderen en dan wel in een container installeren. Is er iemand die enig idee heeft hoe ik dit verwijder of is er dan nog meer informatie vanuit mijn kant nodig? Zo ja hoor ik het graag

[orvintax]

dennisdew16 schreef op dinsdag 3 augustus 2021 @ 21:39:
Goedenavond,

Ik ben helemaal nieuw met proxmox en hoop dat iemand me kan helpen. Heb net via een script unifi controller geinstalleerd(denk als container?) maar heb van te voren geen container aangemaakt realiseer ik me net. Dus ergens staat nu unifi geinstalleerd maar deze wil ik verwijderen en dan wel in een container installeren. Is er iemand die enig idee heeft hoe ik dit verwijder of is er dan nog meer informatie vanuit mijn kant nodig? Zo ja hoor ik het graag

Zit er in dat script geen uninstall functie? Vaak hebben ze dat wel. Ik zou trouwens eerst even wat lezen over hoe virtualizatie/containerisatie werkt en wat een hypervisor precies is.

[dennisdew16]

orvintax schreef op dinsdag 3 augustus 2021 @ 21:41:
[...]

Zit er in dat script geen uninstall functie? Vaak hebben ze dat wel. Ik zou trouwens eerst even wat lezen over hoe virtualizatie/containerisatie werkt en wat een hypervisor precies is.

Ik heb onderstaand script gebruikt (https://community.ui.com/...61-40a7-82ec-22b17f027776). Kan alleen niets vinden over uninstall.

En jazeker, ik was iets te enthousiast en ga me eerst even inlezen voordat ik dat soort fouten blijf maken.

[orvintax]

Aah dat dacht ik al, ik zie het er indaad ook niet tussen staan. Is dit de eerste VM/container die je hebt? Want dan lijkt me het gemakkelijkste om opnieuw te installeren.

[dennisdew16]

Ik heb alleen nog Home Assistant als vm erop staan maar denk inderdaad dat opnieuw installeren dan makkelijker is. Had gehoopt dat hier iemand nog een andere oplossing had maar dan zit er niks anders op

[dcm360]

In theorie zou je met 'apt remove unifi' en 'apt autoremove' best ver moeten komen, daarmee ruim je op zijn minst de controller en dependencies wel op. Wat het script verder doet is dan nog wel de vraag.

[orvintax]

dcm360 schreef op dinsdag 3 augustus 2021 @ 22:04:
In theorie zou je met 'apt remove unifi' en 'apt autoremove' best ver moeten komen, daarmee ruim je op zijn minst de controller en dependencies wel op. Wat het script verder doet is dan nog wel de vraag.

Nouja haalt het dan mongodb enzo ook weg? Misschien dat je in het script kunt kijken wat die allemaal installeert. Maar ik dacht als OP er niks anders op had staan dat het dan makkelijker was geweest. Persoonlijk zelf zou ik het voor de zekerheid wel doen. Maar thats just me.

Je kunt trouwens die home assistant VM/Container backuppen naar een USB of ergens anders naartoe, en hem dan op de verse installatie terug zetten.

[dennisdew16]

dcm360 schreef op dinsdag 3 augustus 2021 @ 22:04:
In theorie zou je met 'apt remove unifi' en 'apt autoremove' best ver moeten komen, daarmee ruim je op zijn minst de controller en dependencies wel op. Wat het script verder doet is dan nog wel de vraag.

Dit is wel gelukt inderdaad, weet alleen ook niet precies wat er over blijft. En HA is nog kaal dus opnieuw installeren moet ook nog kunnen

[nero355]

dennisdew16 schreef op dinsdag 3 augustus 2021 @ 22:20:
Dit is wel gelukt inderdaad, weet alleen ook niet precies wat er over blijft.

En HA is nog kaal dus opnieuw installeren moet ook nog kunnen

https://help.ui.com/hc/en...Fi-Network-Application-#1

Maar gewoon Proxmox opnieuw installeren en een beetje opletten wat je aan het doen bent lijkt me inderdaad een beter plan!

[icecreamfarmer]

Net al mijn VM's containers geupdate en gebackt up. Daarna proxmox zelf geupdate maar hij weigert nu op te starten na een reboot. Volgens proxmox is de update goed gegaan.
Het was een update van 6.4.xx naar 6.4xx+.


Net de server aangesloten op een scherm en krijg deze foutmelding: BLK_update_request: I/O error, dev sda, sector (wisselend nummer) op 0x1: (WRITE) flags ox1ooooo phys_seg 1 prio class 0.

En failed to start Import ZFS Pool VM\x2sStorage.

Het lijkt er dus opdat mijn boot SSD het niet meer doet (update dat is niet mijn boot ssd maar de ssd met de VM's erop, dan is het helemaal raar dat hij niet boot). Maar dat zou raar zijn na maanden draaien dat hij de geest geeft na de reboot van de update. Zeker omdat ik hem nog gereboot heb vlak voor de update en dat gewoon werkte.
Is er een manier om dit te repareren zonder een herinstallatie te moeten doen?

Update:
Dit lijkt erop: https://forum.proxmox.com...ools-by-cache-file.76197/
Krijg ook deze foutmelding: failed to start import zfs pool.

Echter de oplossing:
zpool import -f mypool

Werkt niet want als ik zpool list doe zegt hij dat er geen pools zijn. Wat klopt want als ik een lsblk doe en kijk naar FSTYPE dan is er alleen maar ext4 aanwezig.

[ Voor 43% gewijzigd door icecreamfarmer op 11-08-2021 18:59 ]

[nero355]

icecreamfarmer schreef op woensdag 11 augustus 2021 @ 17:55:
Net de server aangesloten op een scherm en krijg deze foutmelding: BLK_update_request: I/O error, dev sda, sector (wisselend nummer) op 0x1: (WRITE) flags ox1ooooo phys_seg 1 prio class 0.

En failed to start Import ZFS Pool VM\x2sStorage.

Bij het begin beginnen : Wat zegt smartctl -a /dev/sda

[icecreamfarmer]

nero355 schreef op woensdag 11 augustus 2021 @ 18:57:
[...]

Bij het begin beginnen : Wat zegt smartctl -a /dev/sda

Smart zegt geen errors logged, alles is completed without errors.

Net dit gedaan:
mv /etc/zfs/zpool.cache /etc/zfs/zpool.cache.backup
reboot.

root@pve:~# systemctl status zfs-import-scan.service
● zfs-import-scan.service - Import ZFS pools by device scanning
Loaded: loaded (/lib/systemd/system/zfs-import-scan.service; disabled; vendor
Active: inactive (dead)
Docs: man:zpool(

root@pve:~# systemctl status zfs-import-cache.service
● zfs-import-cache.service - Import ZFS pools by cache file
Loaded: loaded (/lib/systemd/system/zfs-import-cache.service; enabled; vendor
Active: inactive (dead)
Condition: start condition failed at Wed 2021-08-11 19:05:22 CEST; 6min 8s ago
└─ ConditionPathExists=/etc/zfs/zpool.cache was not met
Docs: man:zpool(

Nog steeds boot in emergency.
Zie nu ook Failed to start File System Check on /dev/disk/by-label/storageproxmox staan.

Kijk ik voor meer details dan volgt dit:

[ Voor 86% gewijzigd door icecreamfarmer op 11-08-2021 19:22 ]

[nero355]

icecreamfarmer schreef op woensdag 11 augustus 2021 @ 19:01:
Smart zegt geen errors logged, alles is completed without errors.

Dat boeit niet : Post eens de output ervan!

_{Tussen cmd tags en quote tags eromheen a.u.b. om het scrollen door het topic heen aangenamer te houden!}

Net dit gedaan:
mv /etc/zfs/zpool.cache /etc/zfs/zpool.cache.backup
reboot.

[...]

root@pve:~# systemctl status zfs-import-cache.service
● zfs-import-cache.service - Import ZFS pools by cache file
Loaded: loaded (/lib/systemd/system/zfs-import-cache.service; enabled; vendor
Active: inactive (dead)
Condition: start condition failed at Wed 2021-08-11 19:05:22 CEST; 6min 8s ago
└─ ConditionPathExists=/etc/zfs/zpool.cache was not met
Docs: man:zpool(

Nog steeds boot in emergency.
Zie nu ook Failed to start File System Check on /dev/disk/by-label/storageproxmox staan.

Kijk ik voor meer details dan volgt dit:

[Afbeelding]

Je bent te ver gegaan IMHO en ik hoop dat het je nog terug kan draaien...

Eerst de hardware checken en dan pas met ZFS knoeien

[icecreamfarmer]

nero355 schreef op woensdag 11 augustus 2021 @ 19:46:
[...]

Dat boeit niet : Post eens de output ervan!

_{Tussen cmd tags en quote tags eromheen a.u.b. om het scrollen door het topic heen aangenamer te houden!}


[...]

Je bent te ver gegaan IMHO en ik hoop dat het je nog terug kan draaien...

Eerst de hardware checken en dan pas met ZFS knoeien

Het leek mij geen kwaad kunnen omdat ik geen zfs gebruik en die error nu weg is.

Hierbij de output van de smart


Het is een Intel m2 ssd.

[icecreamfarmer]

icecreamfarmer schreef op woensdag 11 augustus 2021 @ 19:54:
[...]


Het leek mij geen kwaad kunnen omdat ik geen zfs gebruik en die error nu weg is.

Hierbij de output van de smart
[Afbeelding]

Het is een Intel m2 ssd.

De smart bios test zegt ook dat er niets mis is.

Heb hem er net uitgehaald maar blijft naar emergency mode booten.

Ook de rescue mode van de proxmox iso doet niets.

Kan nu denk ik maar beter proxmox 7 installeren. Daar nog tips voor?

[ Voor 14% gewijzigd door icecreamfarmer op 12-08-2021 19:16 ]

[nero355]

icecreamfarmer schreef op woensdag 11 augustus 2021 @ 19:54:
Het leek mij geen kwaad kunnen omdat ik geen zfs gebruik en die error nu weg is.

Hierbij de output van de smart
[Afbeelding]

Het is een Intel m2 ssd.

Die SSD is dus echt gewoon STUK!

Kijk maar eens naar de waardes van Item 5 en 195 vooral : Daar gaat iets echt totaal niet goed!

[icecreamfarmer]

nero355 schreef op vrijdag 13 augustus 2021 @ 17:37:
[...]

Die SSD is dus echt gewoon STUK!

Kijk maar eens naar de waardes van Item 5 en 195 vooral : Daar gaat iets echt totaal niet goed!

Ja daar ben ik ook achter. In ubuntu kon ik hem ook niet mounten.
Maar waarom geeft de zelftest dan goed aan?

[nero355]

icecreamfarmer schreef op vrijdag 13 augustus 2021 @ 17:41:
Maar waarom geeft de zelftest dan goed aan?

Lastig te zeggen, maar door er gewoon nooit op te vertrouwen en zelf de waardes te lezen weet je altijd dat je goed zit!

_{Op voorwaarde dat je weet waar je mee bezig bent uiteraard...}

[gastje01]

Ik hoop dat iemand me hier een zetje in de juiste richting kan geven. Ik heb mijn Proxmox host (Nuc 7i7) een kleine boost gegeven door een 128 GB Sata m2 + een 500 GB HDD te vervangen voor een Samsung 970 EVO van 1 TB. Meteen de upgrade naar Proxmox 7.0-8 uitgevoerd en alle backups terug gezet. Alles loopt als een zonnetje (en snel ook!) behalve mijn LXC container met daarin MariaDB voor Kodi.

Deze reageert zo traag dat Kodi er op vast loopt en niet wil opstarten. Zodra ik de container stop start Kodi meteen door. Stoute schoenen aangetrokken, nieuwe LXC container aangemaakt (Debian i.p.v. Ubuntu), MariaDB geinstalleerd, en jawel, zelfde issue.

Internettnetwerk lijkt in orde ping <1ms, andere IP adressen etc getest, ook geen oplossing. Iemand een tipje voor een zoekrichting? Een complete VM voor Kodi leek me overkill.

Als korte test even een docker container met MariaDB op mijn Synology aangemaakt, werkt instant en snel, probleem zit dus (helaas) echt in Proxmox. Die Synology lust me te veel stroom, staat 95% van de tijd uit

[ Voor 11% gewijzigd door gastje01 op 16-08-2021 20:41 ]

[orvintax]

Even voor de zekerheid, gaat het om dezelfde versie van MariaDB op Proxmox als op de Synology?

[gastje01]

orvintax schreef op dinsdag 17 augustus 2021 @ 00:59:
Even voor de zekerheid, gaat het om dezelfde versie van MariaDB op Proxmox als op de Synology?

Nope, de versie op de Synology is iets nieuwer, maar die heb ik alleen gebruikt om zeker te weten dat het niet aan kodi/mijn laptop (clients) ligt.

De versie die op PVE draait is 10.3.29 en heeft voorheen ook altijd snel gewerkt. Anders dan de backup terug zetten (en een nieuwe container maken als test) heb ik niet gedaan.

[orvintax]

Ik zou voor de zekerheid eens dezelfde versie proberen, kun je dat uitsluiten

[haborym]

ik heb een probleem. Ik probeer in mijn server (AMD 1700x met B550 MB) de GTX710 via pci passtrough beschikbaar te maken. Echter op het moment dat ik de VM wil starten dan loopt de PVE vast en moet ik hem hard resetten.

Ik heb deze walktrough gebruikt https://forum.proxmox.com...tutorial-reference.34303/.

Ik zie in de DMESG dat IOMMU actief is

code:

[    0.753616] pci 0000:00:00.2: AMD-Vi: IOMMU performance counters supported
[    0.754532] pci 0000:00:00.2: AMD-Vi: Found IOMMU cap 0x40
[    0.754875] perf/amd_iommu: Detected AMD IOMMU #0 (2 banks, 4 counters/bank).

Verder als ik in lspci -v kijk dan is volgens mij de vfio-pci driver geladen wat volgens mij ook correct is.

code:

06:00.0 VGA compatible controller: NVIDIA Corporation GK208 [GeForce GT 710B] (rev a1) (prog-if 00 [VGA controller])
        Subsystem: ZOTAC International (MCO) Ltd. GK208B [GeForce GT 710]
        Flags: bus master, fast devsel, latency 0, IRQ 5
        Memory at f6000000 (32-bit, non-prefetchable) [size=16M]
        Memory at e8000000 (64-bit, prefetchable) [size=128M]
        Memory at f0000000 (64-bit, prefetchable) [size=32M]
        I/O ports at d000 [size=128]
        Expansion ROM at 000c0000 [disabled] [size=128K]
        Capabilities: [60] Power Management version 3
        Capabilities: [68] MSI: Enable- Count=1/1 Maskable- 64bit+
        Capabilities: [78] Express Legacy Endpoint, MSI 00
        Capabilities: [100] Virtual Channel
        Capabilities: [128] Power Budgeting <?>
        Capabilities: [600] Vendor Specific Information: ID=0001 Rev=1 Len=024 <?>
        Kernel driver in use: vfio-pci
        Kernel modules: nvidiafb, nouveau

De grub heb ik op

code:

GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_acs_override=downstream,$ream,multifunction nofb nomodeset video=vesafb:off,efifb:off"

En als laastste de VM conf

code:

args: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,hv_vendor_id=NV43FIX,kvm=off'
bios: ovmf
boot: order=scsi0;ide2;net0
cores: 4
cpu: host,hidden=1,flags=+pcid
efidisk0: local-zfs:vm-104-disk-1,size=1M
hostpci0: 06:00,pcie=1
ide2: none,media=cdrom
machine: q35
memory: 8192
name: HL-Win10
net0: e1000=06:E3:16:C4:56:A3,bridge=vmbr0,firewall=1
numa: 0
ostype: win10
scsi0: local-zfs:vm-104-disk-0,cache=writeback,size=100G
scsihw: virtio-scsi-pci
smbios1: uuid=976af221-6525-42f3-ab7a-dc23a11cb398
sockets: 2
vga: none

De PVE loopt alleen vast zodra ik de GPU toevoeg aan de VM. Zodra ik die er vanaf haal kan ik de VM starten.
Ik loop dus letterlijk vast .

Iemand hier een idee wat te doen?

[Feni]

haborym schreef op woensdag 18 augustus 2021 @ 20:07:
En als laastste de VM conf

code:

args: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,hv_vendor_id=NV43FIX,kvm=off'
bios: ovmf
boot: order=scsi0;ide2;net0
cores: 4
cpu: host,hidden=1,flags=+pcid
efidisk0: local-zfs:vm-104-disk-1,size=1M
hostpci0: 06:00,pcie=1
ide2: none,media=cdrom
machine: q35
memory: 8192
name: HL-Win10
net0: e1000=06:E3:16:C4:56:A3,bridge=vmbr0,firewall=1
numa: 0
ostype: win10
scsi0: local-zfs:vm-104-disk-0,cache=writeback,size=100G
scsihw: virtio-scsi-pci
smbios1: uuid=976af221-6525-42f3-ab7a-dc23a11cb398
sockets: 2
vga: none

De PVE loopt alleen vast zodra ik de GPU toevoeg aan de VM. Zodra ik die er vanaf haal kan ik de VM starten.

Het kan nodig zijn om de GPU bios te shadowen (romfile). Dit was voor mij ook noodzakelijk voor 1 van mijn GPU's:
https://forums.unraid.net...b=comments#comment-478049
https://pve.proxmox.com/wiki/Pci_passthrough
https://pve.proxmox.com/wiki/PCI(e)_Passthrough

[haborym]

Feni schreef op donderdag 19 augustus 2021 @ 09:04:
[...]


Het kan nodig zijn om de GPU bios te shadowen (romfile). Dit was voor mij ook noodzakelijk voor 1 van mijn GPU's:
https://forums.unraid.net...b=comments#comment-478049
https://pve.proxmox.com/wiki/Pci_passthrough
https://pve.proxmox.com/wiki/PCI(e)_Passthrough

Thanks! ik lees dat het te maken kan hebben met het eerste PCIe slot. Dat is ook zo in mijn geval. Ik heb nog ruimte om het te verplaatsen om te testen of dat voor de issues zorgt.

[krijn1985]

haborym schreef op donderdag 19 augustus 2021 @ 09:08:
[...]

Thanks! ik lees dat het te maken kan hebben met het eerste PCIe slot. Dat is ook zo in mijn geval. Ik heb nog ruimte om het te verplaatsen om te testen of dat voor de issues zorgt.

Mocht het allemaal nog niet lukken kun je nog even kijken naar IOMMU groepen, het kan zijn dat je videokaart in een groep met andere apparaten zit en het daardoor niet lekker gaat. In ieder geval herinner ik mij dat van 3 jaar geleden dat ik er mee bezig was dat dat soms ook een probleem kon zijn.

Met dit scriptje kan je makkelijk je iommu groepen bekijken:

Bash:

#!/bin/sh

BASE="/sys/kernel/iommu_groups"

for i in $(find $BASE -maxdepth 1 -mindepth 1 -type d); do
    GROUP=$(basename $i)
    echo "### Group $GROUP ###"
    for j in $(find $i/devices -type l); do
        DEV=$(basename $j)
        echo -n "    "
        lspci -s $DEV
    done
done

Output bij mij geeft dan bijvorobeeld dit:

code:

### Group 7 ###
    00:1c.0 PCI bridge: Intel Corporation 200 Series PCH PCI Express Root Port #7 (rev f0)
### Group 5 ###
    00:16.0 Communication controller: Intel Corporation 200 Series PCH CSME HECI #1
### Group 3 ###
    00:08.0 System peripheral: Intel Corporation Xeon E3-1200 v5/v6 / E3-1500 v5 / 6th/7th/8th Gen Core Processor Gaussian Mixture Model
### Group 1 ###
    00:01.0 PCI bridge: Intel Corporation 6th-10th Gen Core Processor PCIe Controller (x16) (rev 05)
    01:00.0 VGA compatible controller: NVIDIA Corporation GP108 [GeForce GT 1030] (rev a1)
    01:00.1 Audio device: NVIDIA Corporation GP108 High Definition Audio Controller (rev a1)
### Group 8 ###
    00:1f.2 Memory controller: Intel Corporation 200 Series/Z370 Chipset Family Power Management Controller
    00:1f.0 ISA bridge: Intel Corporation 200 Series PCH LPC Controller (B250)
    00:1f.3 Audio device: Intel Corporation 200 Series PCH HD Audio
    00:1f.4 SMBus: Intel Corporation 200 Series/Z370 Chipset Family SMBus Controller
### Group 6 ###
    00:17.0 SATA controller: Intel Corporation 200 Series PCH SATA controller [AHCI mode]
### Group 4 ###
    00:14.2 Signal processing controller: Intel Corporation 200 Series PCH Thermal Subsystem
    00:14.0 USB controller: Intel Corporation 200 Series/Z370 Chipset Family USB 3.0 xHCI Controller
### Group 2 ###
    00:02.0 VGA compatible controller: Intel Corporation HD Graphics 630 (rev 04)
### Group 0 ###
    00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v6/7th Gen Core Processor Host Bridge/DRAM Registers (rev 05)
### Group 9 ###
    02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)

Bij mij is de GT1030 (group 1) dus met passthrough doorgegeven naar mijn Desktop VM (Arch).

[haborym]

krijn1985 schreef op donderdag 19 augustus 2021 @ 10:22:
[...]


Mocht het allemaal nog niet lukken kun je nog even kijken naar IOMMU groepen, het kan zijn dat je videokaart in een groep met andere apparaten zit en het daardoor niet lekker gaat. In ieder geval herinner ik mij dat van 3 jaar geleden dat ik er mee bezig was dat dat soms ook een probleem kon zijn.

Met dit scriptje kan je makkelijk je iommu groepen bekijken:

Bash:

#!/bin/sh

BASE="/sys/kernel/iommu_groups"

for i in $(find $BASE -maxdepth 1 -mindepth 1 -type d); do
    GROUP=$(basename $i)
    echo "### Group $GROUP ###"
    for j in $(find $i/devices -type l); do
        DEV=$(basename $j)
        echo -n "    "
        lspci -s $DEV
    done
done

Output bij mij geeft dan bijvorobeeld dit:

code:

### Group 7 ###
    00:1c.0 PCI bridge: Intel Corporation 200 Series PCH PCI Express Root Port #7 (rev f0)
### Group 5 ###
    00:16.0 Communication controller: Intel Corporation 200 Series PCH CSME HECI #1
### Group 3 ###
    00:08.0 System peripheral: Intel Corporation Xeon E3-1200 v5/v6 / E3-1500 v5 / 6th/7th/8th Gen Core Processor Gaussian Mixture Model
### Group 1 ###
    00:01.0 PCI bridge: Intel Corporation 6th-10th Gen Core Processor PCIe Controller (x16) (rev 05)
    01:00.0 VGA compatible controller: NVIDIA Corporation GP108 [GeForce GT 1030] (rev a1)
    01:00.1 Audio device: NVIDIA Corporation GP108 High Definition Audio Controller (rev a1)
### Group 8 ###
    00:1f.2 Memory controller: Intel Corporation 200 Series/Z370 Chipset Family Power Management Controller
    00:1f.0 ISA bridge: Intel Corporation 200 Series PCH LPC Controller (B250)
    00:1f.3 Audio device: Intel Corporation 200 Series PCH HD Audio
    00:1f.4 SMBus: Intel Corporation 200 Series/Z370 Chipset Family SMBus Controller
### Group 6 ###
    00:17.0 SATA controller: Intel Corporation 200 Series PCH SATA controller [AHCI mode]
### Group 4 ###
    00:14.2 Signal processing controller: Intel Corporation 200 Series PCH Thermal Subsystem
    00:14.0 USB controller: Intel Corporation 200 Series/Z370 Chipset Family USB 3.0 xHCI Controller
### Group 2 ###
    00:02.0 VGA compatible controller: Intel Corporation HD Graphics 630 (rev 04)
### Group 0 ###
    00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v6/7th Gen Core Processor Host Bridge/DRAM Registers (rev 05)
### Group 9 ###
    02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)

Bij mij is de GT1030 (group 1) dus met passthrough doorgegeven naar mijn Desktop VM (Arch).

Ik heb je scriptje gedraaid en dit is de output. De NVIDIA kaart zit in group 0. Zou die niet beter in een eigen groep kunnen zitten?

code:

### Group 7 ###
    00:18.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 3
    00:18.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 1
    00:18.6 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 6
    00:18.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 4
    00:18.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 2
    00:18.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 0
    00:18.7 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 7
    00:18.5 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 5
### Group 5 ###
    00:08.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
    0a:00.2 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 51)
    0a:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Renoir PCIe Dummy Function
    00:08.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
    0a:00.3 Audio device: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) HD Audio Controller
### Group 3 ###
    00:04.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 1 ###
    00:02.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 6 ###
    00:14.3 ISA bridge: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge (rev 51)
    00:14.0 SMBus: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller (rev 59)
### Group 4 ###
    09:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Raven/Raven2 PCIe Dummy Function
    00:07.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
    09:00.3 USB controller: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) USB 3.0 Host Controller
    00:07.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
    09:00.2 Encryption controller: Advanced Micro Devices, Inc. [AMD] Family 17h(Models 00h-0fh) Platform Security Processor
### Group 2 ###
    00:03.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
    08:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)
    00:03.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 0 ###
    03:00.0 Ethernet controller: Intel Corporation I211 Gigabit Network Connection (rev 03)
    02:07.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    02:00.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    00:01.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
    01:00.2 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Bridge (rev 01)
    01:00.0 USB controller: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset USB 3.1 XHCI Controller (rev 01)
    02:06.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    00:01.3 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
    06:00.0 VGA compatible controller: NVIDIA Corporation GK208 [GeForce GT 710B] (rev a1)
    01:00.1 SATA controller: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset SATA Controller (rev 01)
    02:01.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    02:04.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    06:00.1 Audio device: NVIDIA Corporation GK208 HDMI/DP Audio Controller (reva1)

[dcm360]

Het verklaart in ieder geval waarom het systeem vastloopt zodra je de VM start, want je neemt onbedoeld flink wat meer dan alleen de videokaart mee naar de VM. Zelf had ik vergelijkbare resultaten met een systeem waarbij de boot-SSD in dezelfde groep zat als de netwerkkaartjes die ik aan een VM wou geven.

[krijn1985]

haborym schreef op donderdag 19 augustus 2021 @ 10:45:
[...]


Ik heb je scriptje gedraaid en dit is de output. De NVIDIA kaart zit in group 0. Zou die niet beter in een eigen groep kunnen zitten?

code:

### Group 7 ###
    00:18.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 3
    00:18.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 1
    00:18.6 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 6
    00:18.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 4
    00:18.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 2
    00:18.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 0
    00:18.7 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 7
    00:18.5 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 5
### Group 5 ###
    00:08.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
    0a:00.2 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 51)
    0a:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Renoir PCIe Dummy Function
    00:08.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
    0a:00.3 Audio device: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) HD Audio Controller
### Group 3 ###
    00:04.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 1 ###
    00:02.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 6 ###
    00:14.3 ISA bridge: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge (rev 51)
    00:14.0 SMBus: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller (rev 59)
### Group 4 ###
    09:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Raven/Raven2 PCIe Dummy Function
    00:07.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
    09:00.3 USB controller: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) USB 3.0 Host Controller
    00:07.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
    09:00.2 Encryption controller: Advanced Micro Devices, Inc. [AMD] Family 17h(Models 00h-0fh) Platform Security Processor
### Group 2 ###
    00:03.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
    08:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)
    00:03.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 0 ###
    03:00.0 Ethernet controller: Intel Corporation I211 Gigabit Network Connection (rev 03)
    02:07.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    02:00.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    00:01.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
    01:00.2 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Bridge (rev 01)
    01:00.0 USB controller: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset USB 3.1 XHCI Controller (rev 01)
    02:06.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    00:01.3 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
    06:00.0 VGA compatible controller: NVIDIA Corporation GK208 [GeForce GT 710B] (rev a1)
    01:00.1 SATA controller: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset SATA Controller (rev 01)
    02:01.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    02:04.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    06:00.1 Audio device: NVIDIA Corporation GK208 HDMI/DP Audio Controller (reva1)

Ik ben geen expert in IOMMU groepen maar op basis van mijn kennis zou ik zeggen ja dat is beter. Echter kan je daat vaak niet zelf fixen en ligt dit vooral aan de fabrikant/BIOS. Heb je een SAS controller/HBA kaart in een PCIe slot zitten (in group 2)? Als ik zo snel naar jouw output kijkt zou je misschien door de videokaart daar in te stoppen (indien mogelijk) hem in een eigen groep hebben.

Probeer ook even te zoeken op jouw mobo + IOMMU groups (en eventueel ACS patchen, ik weet niet of dat tegenwoordig nog kan/nodig is). MIsschien dat een bios upgrade of downgrade kan helpen.

[haborym]

krijn1985 schreef op donderdag 19 augustus 2021 @ 13:04:
[...]


Ik ben geen expert in IOMMU groepen maar op basis van mijn kennis zou ik zeggen ja dat is beter. Echter kan je daat vaak niet zelf fixen en ligt dit vooral aan de fabrikant/BIOS. Heb je een SAS controller/HBA kaart in een PCIe slot zitten (in group 2)? Als ik zo snel naar jouw output kijkt zou je misschien door de videokaart daar in te stoppen (indien mogelijk) hem in een eigen groep hebben.

Probeer ook even te zoeken op jouw mobo + IOMMU groups (en eventueel ACS patchen, ik weet niet of dat tegenwoordig nog kan/nodig is). MIsschien dat een bios upgrade of downgrade kan helpen.

Ik kan de bios wel updaten. Dus dat ga ik wel even proberen. de raidcontroller kan ik niet verplaatsen omdat die minimaal 8 pcie lanes nodig heeft en alleen het 2e slot heeft er 16x

Ik heb nog 1 pci express slot vrij kan die ook nog even proberen. keep you posted

[orvintax]

haborym schreef op woensdag 18 augustus 2021 @ 20:07:
ik heb een probleem. Ik probeer in mijn server (AMD 1700x met B550 MB) de GTX710 via pci passtrough beschikbaar te maken. Echter op het moment dat ik de VM wil starten dan loopt de PVE vast en moet ik hem hard resetten.

Ik heb deze walktrough gebruikt https://forum.proxmox.com...tutorial-reference.34303/.

Ik zie in de DMESG dat IOMMU actief is

code:

[    0.753616] pci 0000:00:00.2: AMD-Vi: IOMMU performance counters supported
[    0.754532] pci 0000:00:00.2: AMD-Vi: Found IOMMU cap 0x40
[    0.754875] perf/amd_iommu: Detected AMD IOMMU #0 (2 banks, 4 counters/bank).

Verder als ik in lspci -v kijk dan is volgens mij de vfio-pci driver geladen wat volgens mij ook correct is.

code:

06:00.0 VGA compatible controller: NVIDIA Corporation GK208 [GeForce GT 710B] (rev a1) (prog-if 00 [VGA controller])
        Subsystem: ZOTAC International (MCO) Ltd. GK208B [GeForce GT 710]
        Flags: bus master, fast devsel, latency 0, IRQ 5
        Memory at f6000000 (32-bit, non-prefetchable) [size=16M]
        Memory at e8000000 (64-bit, prefetchable) [size=128M]
        Memory at f0000000 (64-bit, prefetchable) [size=32M]
        I/O ports at d000 [size=128]
        Expansion ROM at 000c0000 [disabled] [size=128K]
        Capabilities: [60] Power Management version 3
        Capabilities: [68] MSI: Enable- Count=1/1 Maskable- 64bit+
        Capabilities: [78] Express Legacy Endpoint, MSI 00
        Capabilities: [100] Virtual Channel
        Capabilities: [128] Power Budgeting <?>
        Capabilities: [600] Vendor Specific Information: ID=0001 Rev=1 Len=024 <?>
        Kernel driver in use: vfio-pci
        Kernel modules: nvidiafb, nouveau

De grub heb ik op

code:

GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_acs_override=downstream,$ream,multifunction nofb nomodeset video=vesafb:off,efifb:off"

En als laastste de VM conf

code:

args: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,hv_vendor_id=NV43FIX,kvm=off'
bios: ovmf
boot: order=scsi0;ide2;net0
cores: 4
cpu: host,hidden=1,flags=+pcid
efidisk0: local-zfs:vm-104-disk-1,size=1M
hostpci0: 06:00,pcie=1
ide2: none,media=cdrom
machine: q35
memory: 8192
name: HL-Win10
net0: e1000=06:E3:16:C4:56:A3,bridge=vmbr0,firewall=1
numa: 0
ostype: win10
scsi0: local-zfs:vm-104-disk-0,cache=writeback,size=100G
scsihw: virtio-scsi-pci
smbios1: uuid=976af221-6525-42f3-ab7a-dc23a11cb398
sockets: 2
vga: none

De PVE loopt alleen vast zodra ik de GPU toevoeg aan de VM. Zodra ik die er vanaf haal kan ik de VM starten.
Ik loop dus letterlijk vast .

Iemand hier een idee wat te doen?

Klopt het dat je een ZFS array gebruikt als bootdisk? Want als dat het geval is gebruik je systemd-boot en geen GRUB. Je passtrough gaat dus sowieso niet werken totdat je dat goed insteld. Hier kun je zien wat je moet toevoegen.

[CurlyMo]

orvintax schreef op donderdag 19 augustus 2021 @ 13:34:
[...]

Klopt het dat je een ZFS array gebruikt als bootdisk? Want als dat het geval is gebruik je systemd-boot en geen GRUB.

Is dat Proxmox specifiek dat die systemd-boot gebruikt bij ZFS, want het is niet dat GRUB zfs-on-root onmogelijk maakt?

[haborym]

krijn1985 schreef op donderdag 19 augustus 2021 @ 13:04:
[...]


Ik ben geen expert in IOMMU groepen maar op basis van mijn kennis zou ik zeggen ja dat is beter. Echter kan je daat vaak niet zelf fixen en ligt dit vooral aan de fabrikant/BIOS. Heb je een SAS controller/HBA kaart in een PCIe slot zitten (in group 2)? Als ik zo snel naar jouw output kijkt zou je misschien door de videokaart daar in te stoppen (indien mogelijk) hem in een eigen groep hebben.

Probeer ook even te zoeken op jouw mobo + IOMMU groups (en eventueel ACS patchen, ik weet niet of dat tegenwoordig nog kan/nodig is). MIsschien dat een bios upgrade of downgrade kan helpen.

Een bios update heeft gewerkt. Was even zweten om alle juiste bios instellingen weer te vinden... Zucht virtualisatie was uit, disk boot stond op legacy en memory had geen xmp profile meer.... weer een uur verder maar

code:

### Group 17 ###
    08:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Renoir PCIe Dummy Function
### Group 7 ###
    00:07.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
### Group 15 ###
    07:00.2 Encryption controller: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Platform Security Processor
### Group 5 ###
    00:04.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 13 ###
    06:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)
### Group 3 ###
    00:03.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 11 ###
    00:18.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 3
    00:18.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 1
    00:18.6 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 6
    00:18.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 4
    00:18.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 2
    00:18.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 0
    00:18.7 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 7
    00:18.5 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 5
### Group 1 ###
    00:01.3 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
### Group 18 ###
    08:00.2 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 51)
### Group 8 ###
    00:08.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 16 ###
    07:00.3 USB controller: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) USB 3.0 Host Controller
### Group 6 ###
    00:07.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 14 ###
    07:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Raven/Raven2 PCIe Dummy Function
### Group 4 ###
    00:03.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
### Group 12 ###
    03:00.0 Ethernet controller: Intel Corporation I211 Gigabit Network Connection (rev 03)
    05:00.1 Audio device: NVIDIA Corporation GK208 HDMI/DP Audio Controller (rev a1)
    02:00.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    01:00.2 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Bridge (rev 01)
    01:00.0 USB controller: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset USB 3.1 XHCI Controller (rev 01)
    05:00.0 VGA compatible controller: NVIDIA Corporation GK208 [GeForce GT 710B] (rev a1)
    01:00.1 SATA controller: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset SATA Controller (rev 01)
    02:01.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    02:04.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
### Group 2 ###
    00:02.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 10 ###
    00:14.3 ISA bridge: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge (rev 51)
    00:14.0 SMBus: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller (rev 59)
### Group 0 ###
    00:01.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 19 ###
    08:00.3 Audio device: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) HD Audio Controller
### Group 9 ###
    00:08.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B

orvintax schreef op donderdag 19 augustus 2021 @ 13:34:
[...]

Klopt het dat je een ZFS array gebruikt als bootdisk? Want als dat het geval is gebruik je systemd-boot en geen GRUB. Je passtrough gaat dus sowieso niet werken totdat je dat goed insteld. Hier kun je zien wat je moet toevoegen.

Ik heb inderdaad een ZFS mirror als boot drive. Moet ik dan niet de grub aanpassen?

[krijn1985]

haborym schreef op donderdag 19 augustus 2021 @ 14:44:
[...]

Een bios update heeft gewerkt. Was even zweten om alle juiste bios instellingen weer te vinden... Zucht virtualisatie was uit, disk boot stond op legacy en memory had geen xmp profile meer.... weer een uur verder maar

code:

### Group 17 ###
    08:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Renoir PCIe Dummy Function
### Group 7 ###
    00:07.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
### Group 15 ###
    07:00.2 Encryption controller: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Platform Security Processor
### Group 5 ###
    00:04.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 13 ###
    06:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)
### Group 3 ###
    00:03.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 11 ###
    00:18.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 3
    00:18.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 1
    00:18.6 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 6
    00:18.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 4
    00:18.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 2
    00:18.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 0
    00:18.7 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 7
    00:18.5 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 5
### Group 1 ###
    00:01.3 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
### Group 18 ###
    08:00.2 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 51)
### Group 8 ###
    00:08.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 16 ###
    07:00.3 USB controller: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) USB 3.0 Host Controller
### Group 6 ###
    00:07.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 14 ###
    07:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Raven/Raven2 PCIe Dummy Function
### Group 4 ###
    00:03.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
### Group 12 ###
    03:00.0 Ethernet controller: Intel Corporation I211 Gigabit Network Connection (rev 03)
    05:00.1 Audio device: NVIDIA Corporation GK208 HDMI/DP Audio Controller (rev a1)
    02:00.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    01:00.2 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Bridge (rev 01)
    01:00.0 USB controller: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset USB 3.1 XHCI Controller (rev 01)
    05:00.0 VGA compatible controller: NVIDIA Corporation GK208 [GeForce GT 710B] (rev a1)
    01:00.1 SATA controller: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset SATA Controller (rev 01)
    02:01.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    02:04.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
### Group 2 ###
    00:02.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 10 ###
    00:14.3 ISA bridge: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge (rev 51)
    00:14.0 SMBus: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller (rev 59)
### Group 0 ###
    00:01.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 19 ###
    08:00.3 Audio device: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) HD Audio Controller
### Group 9 ###
    00:08.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B

Werkt het nu ook of dat nog niet? Als ik zo kijk verwacht ik nog wel problemen omdat hij in groep 12 met nog best wat andere devices zit.

haborym schreef op donderdag 19 augustus 2021 @ 13:23:
[...]

Ik kan de bios wel updaten. Dus dat ga ik wel even proberen. de raidcontroller kan ik niet verplaatsen omdat die minimaal 8 pcie lanes nodig heeft en alleen het 2e slot heeft er 16x

Ik heb nog 1 pci express slot vrij kan die ook nog even proberen. keep you posted

Als ik het goed begrijp zit je raidcontroller in een 2e 16x slot? Als je die raidkaart niet wilt doorgeven zou je eventueel die met je videokaart kunnen omwisselen, het lijkt erop dat dat slot wel (redelijk) geisoleerd zit qua groep.

Eventueel kun je ook andere sloten proberen en kijken of hij in een groep komt zonder andere devices.

[zeroday]

CurlyMo schreef op donderdag 19 augustus 2021 @ 13:42:
[...]

Is dat Proxmox specifiek dat die systemd-boot gebruikt bij ZFS, want het is niet dat GRUB zfs-on-root onmogelijk maakt?

zit ik ook mee te knoeien ivm het feit wat ik moet doen om een ZFS boot disk mirrored toe vervangen
https://forum.proxmox.com...ub-or-systemd-boot.67020/
https://pve.proxmox.com/p...ter-sysadmin.html#sysboot
en als ik dat zo lees allemaal zit ik gewoon met mijn ZFS on root gewoon met Grub te werken

Nu nog stoeien hoe ik een disk vervang want de vorige keer ging dat met partities helemaal de mist in...

[CurlyMo]

@zeroday dat is geen proxmox maar een zfs vraag. Daar hebben we een apart topic voor.

[zeroday]

CurlyMo schreef op donderdag 19 augustus 2021 @ 15:31:
@zeroday dat is geen proxmox maar een zfs vraag. Daar hebben we een apart topic voor.

weet ik daarom vraag ik ook niets maar eerder een opmerking met 2 links die verwijzen naar grub/systemd waar de opmerking over was.

[CurlyMo]

zeroday schreef op donderdag 19 augustus 2021 @ 16:43:
[...]


weet ik daarom vraag ik ook niets maar eerder een opmerking met 2 links die verwijzen naar grub/systemd waar de opmerking over was.

Dan ga ik ook niet pro-actief hulp aanbieden vanuit het andere topic

[zeroday]

CurlyMo schreef op donderdag 19 augustus 2021 @ 16:44:
[...]

Dan ga ik ook niet pro-actief hulp aanbieden vanuit het andere topic

Zolang ik niets vraag in dat topic hoeft dat ook niet hé laat ik eerst dat topic maar doornemen voordat ik wat vraag. Wist niet eens dat er een 'grote ZFS topic' was ..

[nero355]

haborym schreef op woensdag 18 augustus 2021 @ 20:07:
ik heb een probleem. Ik probeer in mijn server (AMD 1700x met B550 MB) de GTX710 via pci passtrough beschikbaar te maken. Echter op het moment dat ik de VM wil starten dan loopt de PVE vast en moet ik hem hard resetten.

De PVE loopt alleen vast zodra ik de GPU toevoeg aan de VM. Zodra ik die er vanaf haal kan ik de VM starten.
Ik loop dus letterlijk vast .

Iemand hier een idee wat te doen?

Effe een paar dingen die ik door de tijd heen mee heb gekregen wat betreft je gebruikte hardware :

- AMD's IOMMU schijnt nog steeds niet altijd even betrouwbaar te werken t.o.v. Intel's VT-D variant.
- Nvidia videokaarten die geen Workstation model zijn, zoals de Quadro's en de opvolgers daarvan zijn eigenlijk niet bedoeld voor zulke setups.
- Er zijn wel hier en daar wat patches te vinden voor het een en ander omtrent dit soort gebruik voor Nvidia GTX/RTX videokaarten.
- AMD videokaarten hebben deze beperkingen niet dus in het ergste geval zou je die nog kunnen proberen mocht je die hebben liggen

_{Disclaimer : Bovenstaande dingen zouden ondertussen weleens outdated of in ieder geval niet meer helemaal kloppend kunnen zijn!}

Maar...

Mocht je het betrouwbaar werkend krijgen dan hoor ik graag van je hoe het uiteindelijk is gelukt!

[orvintax]

CurlyMo schreef op donderdag 19 augustus 2021 @ 13:42:
[...]

Is dat Proxmox specifiek dat die systemd-boot gebruikt bij ZFS, want het is niet dat GRUB zfs-on-root onmogelijk maakt?

Ik ben vrij zeker dat het een Proxmox specifiek dingetje is.

[orvintax]

haborym schreef op donderdag 19 augustus 2021 @ 14:44:
[...]

Een bios update heeft gewerkt. Was even zweten om alle juiste bios instellingen weer te vinden... Zucht virtualisatie was uit, disk boot stond op legacy en memory had geen xmp profile meer.... weer een uur verder maar

code:

### Group 17 ###
    08:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Renoir PCIe Dummy Function
### Group 7 ###
    00:07.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
### Group 15 ###
    07:00.2 Encryption controller: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Platform Security Processor
### Group 5 ###
    00:04.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 13 ###
    06:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)
### Group 3 ###
    00:03.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 11 ###
    00:18.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 3
    00:18.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 1
    00:18.6 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 6
    00:18.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 4
    00:18.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 2
    00:18.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 0
    00:18.7 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 7
    00:18.5 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 5
### Group 1 ###
    00:01.3 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
### Group 18 ###
    08:00.2 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 51)
### Group 8 ###
    00:08.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 16 ###
    07:00.3 USB controller: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) USB 3.0 Host Controller
### Group 6 ###
    00:07.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 14 ###
    07:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Raven/Raven2 PCIe Dummy Function
### Group 4 ###
    00:03.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
### Group 12 ###
    03:00.0 Ethernet controller: Intel Corporation I211 Gigabit Network Connection (rev 03)
    05:00.1 Audio device: NVIDIA Corporation GK208 HDMI/DP Audio Controller (rev a1)
    02:00.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    01:00.2 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Bridge (rev 01)
    01:00.0 USB controller: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset USB 3.1 XHCI Controller (rev 01)
    05:00.0 VGA compatible controller: NVIDIA Corporation GK208 [GeForce GT 710B] (rev a1)
    01:00.1 SATA controller: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset SATA Controller (rev 01)
    02:01.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
    02:04.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 400 Series Chipset PCIe Port (rev 01)
### Group 2 ###
    00:02.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 10 ###
    00:14.3 ISA bridge: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge (rev 51)
    00:14.0 SMBus: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller (rev 59)
### Group 0 ###
    00:01.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
### Group 19 ###
    08:00.3 Audio device: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) HD Audio Controller
### Group 9 ###
    00:08.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B

[...]


Ik heb inderdaad een ZFS mirror als boot drive. Moet ik dan niet de grub aanpassen?

Zover ik het weet heeft het aanpassen van GRUB niet veel zin omdat jouw systeem dat simpleweg niet gebruikt. Ik spreek uit persoonlijke ervaring

[haborym]

orvintax schreef op donderdag 19 augustus 2021 @ 17:30:
[...]

Zover ik het weet heeft het aanpassen van GRUB niet veel zin omdat jouw systeem dat simpleweg niet gebruikt. Ik spreek uit persoonlijke ervaring

Dat zou verklaren waarom de acs override niets uithaalde.
Zodra ik tijd heb zal ik alles van grub verhuizen naar de systemd.


**update 20-08**
Met dit stukje tekst in systemd ( ) iommu=pt pcie_acs_override=downstream,multifunction nofb nomodeset video=vesafb:off,efifb:off" is het me gelukt.
De ACS lijst is nu een stuk beter en alle groupen bevatten maar 1 of 2 devices. Ben nu net aan het kijken of ik de videokaart fatsoenlijk aan de praat krijg. Hij draait wel, nu kijken of die ook daadwerkelijk een beetje performt.

[ Voor 33% gewijzigd door haborym op 20-08-2021 12:16 ]

[Xion]

De afgelopen weken heb ik wat rond zitten kijken naar oa Proxmox en welke hardware er bij te gebruiken. Mijn voorkeur is om een NUC in te gaan richten wegens de grootte van het apparaat (past in kleine patchkast) of anders een minitower buiten de patchkast.

Na wat grasduinen door dit topic heb ik het volgende samengesteld:

#	Category	Product	Prijs	Subtotaal
1	Barebones	Intel NUC 11 Pro Kit NUC11TNKI5 (EU-stroomkabel)	€ 422,29	€ 422,29
1	Geheugen intern	Crucial CT2K16G4SFRA32A	€ 154,21	€ 154,21
1	Solid state drives	Intel DC DC D3-S4510 M.2 960GB	€ 232,55	€ 232,55
			Totaal	€ 809,05

De NUC hoeft voor mij niet ultra zwaar te zijn en een i5 zou al een enorme verbetering zijn tov mijn Celeron van mijn Syno D918+. Ik ben voornamelijk vanplan containers te gaan draaien, Docker of LXC (hoewel ik daar nog geen ervaring mee heb). Denk aan AdGuard, zelfbouw applicaties en database servers (MSSQL Docker, MariaDB beide in Docker).

Een overweging is nog om Plex in een container erop te zetten, hoewel dat op mijn Syno acceptabel draait in Docker. Misschien nog een Windows of andere desktop omgeving om remote op in te loggen, maar dat is echt geen must. Dat zou de zuinigheid denk ik onderuit halen.

Het geheugen is een educated guess. Ik zag in de specs dat het 1.2V modules ondersteund, dus daar had ik op gezocht.

De M2 SSD van Intel heb ik gekozen wegens de betrouwbaarheid. Adus een eerde post in dit topic.

Vraag 1. Op papier vind ik dit een mooie oplossing voor mijn wensen, alleen mijn grootste zorg is de warmte productie/koeling en daarmee ook de duurzaamheid van het apparaat. Het alternatief is een Be quiet! kast met 300V voeding en andere hardware in de hoop dat die dan ook enigzins 'zuinig'/efficient is.

Vraag 2. Hoe zit het met het backuppen van de gratis of Community versie van Proxmox. De site wekt voor mij de indruk dat je voor backuppen moet betalen. Zou ik mijn proxmox naar bv mijn Syno kunnen backuppen?

[rachez]

Xion schreef op vrijdag 20 augustus 2021 @ 14:06:

Het geheugen is een educated guess. Ik zag in de specs dat het 1.2V modules ondersteund, dus daar had ik op gezocht.


Vraag 1. Op papier vind ik dit een mooie oplossing voor mijn wensen, alleen mijn grootste zorg is de warmte productie/koeling en daarmee ook de duurzaamheid van het apparaat. Het alternatief is een Be quiet! kast met 300V voeding en andere hardware in de hoop dat die dan ook enigzins 'zuinig'/efficient is.

Vraag 2. Hoe zit het met het backuppen van de gratis of Community versie van Proxmox. De site wekt voor mij de indruk dat je voor backuppen moet betalen. Zou ik mijn proxmox naar bv mijn Syno kunnen backuppen?

Je zou kunnen overwegen om 64GB erin te doen. Geheugen wordt vaak schaars naar verloop van tijd.

Qua warmte. Ik heb 3 nucs twee met proxmox waarvan een al iets van 5 jaar draait. Verder een met esxi (voor testdoeleinden). Alleen een keer een kapotte voedings brick gehad maar verder geen issues.

Ik backup alleen mijn vm's naar een Synology en dat kan helemaal geautomatiseerd elke week of elke dag voor de vm's die je belangrijk vindt. Je kunt ook PBS (proxmox backup server) gebruiken, maar ik vind dat niet veel toevoegen.
Proxmox zelf kan je relatief snel terugzetten, kost je iets van een uurtje ofzo dus dat backup ik niet.

[Xion]

rachez schreef op vrijdag 20 augustus 2021 @ 16:06:
[...]


Je zou kunnen overwegen om 64GB erin te doen. Geheugen wordt vaak schaars naar verloop van tijd.

Qua warmte. Ik heb 3 nucs twee met proxmox waarvan een al iets van 5 jaar draait. Verder een met esxi (voor testdoeleinden). Alleen een keer een kapotte voedings brick gehad maar verder geen issues.

Ik backup alleen mijn vm's naar een Synology en dat kan helemaal geautomatiseerd elke week of elke dag voor de vm's die je belangrijk vindt. Je kunt ook PBS (proxmox backup server) gebruiken, maar ik vind dat niet veel toevoegen.
Proxmox zelf kan je relatief snel terugzetten, kost je iets van een uurtje ofzo dus dat backup ik niet.

Dank voor de geheugen tip! Die is meteen aangepast in de wensenlijst. Kortom, klinkt allemaal goed dus. Ik broei er nog even op, maar ik denk niet al te lang meer...

Gaat die backup dan via een netwerk share of een ander mechanisme?

[rachez]

Backup naar synology kan op meerdere manieren, maar ik gebruiken een nfs share op de synology, met de volgende entry in mijn fstab op de proxmox host:

code:

servernaam.lan:/volume1/files1/share_linux /mnt/mymount/share_linux   nfs      rw,sync,hard,intr  0     0

en onder datacenter > storage > add kan je hem dan toevoegen:

[orvintax]

Xion schreef op vrijdag 20 augustus 2021 @ 14:06:
De afgelopen weken heb ik wat rond zitten kijken naar oa Proxmox en welke hardware er bij te gebruiken. Mijn voorkeur is om een NUC in te gaan richten wegens de grootte van het apparaat (past in kleine patchkast) of anders een minitower buiten de patchkast.

Na wat grasduinen door dit topic heb ik het volgende samengesteld:

#	Category	Product	Prijs	Subtotaal
1	Barebones	Intel NUC 11 Pro Kit NUC11TNKI5 (EU-stroomkabel)	€ 422,29	€ 422,29
1	Geheugen intern	Crucial CT2K16G4SFRA32A	€ 154,21	€ 154,21
1	Solid state drives	Intel DC DC D3-S4510 M.2 960GB	€ 232,55	€ 232,55
			Totaal	€ 809,05

De NUC hoeft voor mij niet ultra zwaar te zijn en een i5 zou al een enorme verbetering zijn tov mijn Celeron van mijn Syno D918+. Ik ben voornamelijk vanplan containers te gaan draaien, Docker of LXC (hoewel ik daar nog geen ervaring mee heb). Denk aan AdGuard, zelfbouw applicaties en database servers (MSSQL Docker, MariaDB beide in Docker).

Een overweging is nog om Plex in een container erop te zetten, hoewel dat op mijn Syno acceptabel draait in Docker. Misschien nog een Windows of andere desktop omgeving om remote op in te loggen, maar dat is echt geen must. Dat zou de zuinigheid denk ik onderuit halen.

Het geheugen is een educated guess. Ik zag in de specs dat het 1.2V modules ondersteund, dus daar had ik op gezocht.

De M2 SSD van Intel heb ik gekozen wegens de betrouwbaarheid. Adus een eerde post in dit topic.

Vraag 1. Op papier vind ik dit een mooie oplossing voor mijn wensen, alleen mijn grootste zorg is de warmte productie/koeling en daarmee ook de duurzaamheid van het apparaat. Het alternatief is een Be quiet! kast met 300V voeding en andere hardware in de hoop dat die dan ook enigzins 'zuinig'/efficient is.

Vraag 2. Hoe zit het met het backuppen van de gratis of Community versie van Proxmox. De site wekt voor mij de indruk dat je voor backuppen moet betalen. Zou ik mijn proxmox naar bv mijn Syno kunnen backuppen?

Vraag 1 kan ik geen goed antwoord op geven, maar over vraag 2:
Voor backup hoef je niet te betalen, Proxmox heeft naast hun hypervisor ook software die zich specifiek richt op back ups misschien dat je daar door in de war raakte (die echter wel gewoon gratis is). Je kunt in Proxmox back ups maken naar alle storage mogelijkheden. Voor een overzicht daarvan kun je kijken op deze link. Ik zelf maak elke dag backups van mijn VM's/Containers naar een NFS share.

Over het Docker verhaal, ik zou dat afraden. Het is perfect mogelijk en jou zou echt niet de eerste zijn, maar in mijn ogen maakt het niet veel sense. Als je containers wilt gebruiken in Proxmox zou ik gewoon voor LXC gaan, ik gebruik deze waar mogelijk en ik vind ze heel fijn werken. Als je persee Docker wilt gebruiker zou ik gewoon een kale Debian of Ubuntu Server installeren en daar portainer op installeren.

[orvintax]

rachez schreef op vrijdag 20 augustus 2021 @ 17:48:
Backup naar synology kan op meerdere manieren, maar ik gebruiken een nfs share op de synology, met de volgende entry in mijn fstab op de proxmox host:

code:

servernaam.lan:/volume1/files1/share_linux /mnt/mymount/share_linux   nfs      rw,sync,hard,intr  0     0

en onder datacenter > storage > add kan je hem dan toevoegen:
[Afbeelding]

Waarom mount je hem eerst zelf in fstab om hem dan vervolgens in de GUI toe te voegen? Dat is helemaal niet nodig

[orvintax]

rachez schreef op vrijdag 20 augustus 2021 @ 16:06:
[...]


Je zou kunnen overwegen om 64GB erin te doen. Geheugen wordt vaak schaars naar verloop van tijd.

Qua warmte. Ik heb 3 nucs twee met proxmox waarvan een al iets van 5 jaar draait. Verder een met esxi (voor testdoeleinden). Alleen een keer een kapotte voedings brick gehad maar verder geen issues.

Ik backup alleen mijn vm's naar een Synology en dat kan helemaal geautomatiseerd elke week of elke dag voor de vm's die je belangrijk vindt. Je kunt ook PBS (proxmox backup server) gebruiken, maar ik vind dat niet veel toevoegen.
Proxmox zelf kan je relatief snel terugzetten, kost je iets van een uurtje ofzo dus dat backup ik niet.

Als ik kijk naar OP zijn wensen vind ik 64GB wel erg overkill imo. Plex,Adguard en MariaDB gebruiken echt bij lange na dat niet. Met 32GB heeft ie naar mijn mening genoeg ruimte om te groeien. Ik durf er echter mijn handen voor in het vuur te steken dat OP eerder tegen limitaties vanuit de CPU kant gaat lopen dan het RAM.

[rachez]

fstab: Ah ok kan ongetwijfeld, ik denk dat dat komt omdat ik veel op de command line doe van mijn proxmox host en ook daar de share naar mijn synology nodig had.

Vwb geheugen, ieder het zijne, maar mijn ervaring is dat er na verloop van tijd meer bijkomt en bijna nooit minder.

[ Voor 28% gewijzigd door rachez op 20-08-2021 18:03 ]

[orvintax]

rachez schreef op vrijdag 20 augustus 2021 @ 18:00:
Ah ok kan ongetwijfeld, ik denk dat dat komt omdat ik veel op de command line doe van mijn proxmox host en ook daar de share naar mijn synology nodig had.

Vwb geheugen, ieder het zijne, maar mijn ervaring is dat er na verloop van tijd meer bijkomt en bijna nooit minder.

Ik vraag me af of Proxmox dan ook jouw fstab mount gebruikt

Over het geheugen, mee eens. Maar als jij kijkt naar waar OP het over heeft lijkt me dat niet echt geheugen intensieve taken, ik denk dat 32GB ook al genoeg gaat zijn. Die CPU heeft 4 cores, dat gaat eerder een probleem worden denk ik, maar goed. Misschien dat een tweede SSD handig is vanwege redundantie? Jammere is wel dat die tweede M.2 aansluiting SATA is.

[nero355]

Xion schreef op vrijdag 20 augustus 2021 @ 14:06:
Vraag 1. Op papier vind ik dit een mooie oplossing voor mijn wensen, alleen mijn grootste zorg is de warmte productie/koeling en daarmee ook de duurzaamheid van het apparaat. Het alternatief is een Be quiet! kast met 300V voeding en andere hardware in de hoop dat die dan ook enigzins 'zuinig'/efficient is.

Als je wat groter wilt gaan, maar niet TE groot dan kan je ook naar zoiets kijken : https://tweakers.net/barebones/asrock/

Geeft je net wat meer ademruimte en is waarschijnlijk ook stiller te koelen @ 100% LOAD

[Xion]

nero355 schreef op vrijdag 20 augustus 2021 @ 18:29:
[...]



Als je wat groter wilt gaan, maar niet TE groot dan kan je ook naar zoiets kijken : https://tweakers.net/barebones/asrock/

Geeft je net wat meer ademruimte en is waarschijnlijk ook stiller te koelen @ 100% LOAD

Haha, ja dat.... Dank voor de tip, ook een mooi alternatief! Ter vergelijking heb ik een systeem samengesteld (32GB):

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-9600 Boxed	€ 189,-	€ 189,-
1	Barebones	ASRock DeskMini 310	€ 141,34	€ 141,34
1	Geheugen intern	Crucial CT2K16G4SFRA32A	€ 154,21	€ 154,21
1	Solid state drives	Intel DC DC D3-S4510 M.2 960GB	€ 232,68	€ 232,68
			Totaal	€ 717,23

Hoewel ik qua uitbreiding weinig mogelijkheden zie, op een tweede M2 slot na dan om bv een mirror op te zetten. Wellicht nog qua koeling/geluid, dat kan ik zo niet inschatten. Voor de prijs hoeft het ook niet, komt op ongeveer hetzelfde uit. Dan zou ik toch nog voor de NUC kiezen ivm energie verbruik en grootte.

@orvintax Daar heb je een goed punt. Ik merk dat ik er ook hebberig van word. Momenteel draait alles op mijn Syno met 8GB en dan wordt dat niet eens volledig benut (wat ten goede komt van het host OS). Echter kwam ik er in de loop van de tijd (na aanschaf van de NAS) dat bv Windows VM gewoon niet lekker loopt op die NAS.

Een Windows instantie om er wat 'licht' office werk op te kunnen doen is wel een very-nice-to-have. Dat doe ik nu op mijn Workstation met een VM. Als dat op de proxmox kan is het niet meer nodig van het opstarten van mijn workstation. Desnoods on-demand starten op de proxmox om energie te sparen.

Ook het draaien van een virtuele Windows Server wordt dan mogelijk voor testwerk (VSTS builds en deployments). Kortom, ik zie scenarios waar wat flinke piekbelasting mogelijk is, maar zeker niet continue.

Echter vind ik niets vervelender dan er na aanschaf pas achter te komen dat ik beperkt ben. Dan up ik liever de specs wat om over 2-3 jaar nog uit te komen. 2x32GB is nog wel het overwegen waard. Is een kit van twee altijd noodzakelijk, of kan ik 2x hetzelfde reepje bestellen? Er staat mij bij dat dit ooit van belang wat met gelijke timings van modules.

Edit: Over CPU beperkingen ben ik niet uit. Volgens mij is een i5 best en knap beestje, maar 2 Windows machines en een handje vol LXC containers zou, zoals ik het hier lees, wel moeten gaan, toch?

[ Voor 4% gewijzigd door Xion op 21-08-2021 09:45 ]

[orvintax]

Xion schreef op zaterdag 21 augustus 2021 @ 09:40:
[...]

Haha, ja dat.... Dank voor de tip, ook een mooi alternatief! Ter vergelijking heb ik een systeem samengesteld (32GB):

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-9600 Boxed	€ 189,-	€ 189,-
1	Barebones	ASRock DeskMini 310	€ 141,34	€ 141,34
1	Geheugen intern	Crucial CT2K16G4SFRA32A	€ 154,21	€ 154,21
1	Solid state drives	Intel DC DC D3-S4510 M.2 960GB	€ 232,68	€ 232,68
			Totaal	€ 717,23

Hoewel ik qua uitbreiding weinig mogelijkheden zie, op een tweede M2 slot na dan om bv een mirror op te zetten. Wellicht nog qua koeling/geluid, dat kan ik zo niet inschatten. Voor de prijs hoeft het ook niet, komt op ongeveer hetzelfde uit. Dan zou ik toch nog voor de NUC kiezen ivm energie verbruik en grootte.

@orvintax Daar heb je een goed punt. Ik merk dat ik er ook hebberig van word. Momenteel draait alles op mijn Syno met 8GB en dan wordt dat niet eens volledig benut (wat ten goede komt van het host OS). Echter kwam ik er in de loop van de tijd (na aanschaf van de NAS) dat bv Windows VM gewoon niet lekker loopt op die NAS.

Een Windows instantie om er wat 'licht' office werk op te kunnen doen is wel een very-nice-to-have. Dat doe ik nu op mijn Workstation met een VM. Als dat op de proxmox kan is het niet meer nodig van het opstarten van mijn workstation. Desnoods on-demand starten op de proxmox om energie te sparen.

Ook het draaien van een virtuele Windows Server wordt dan mogelijk voor testwerk (VSTS builds en deployments). Kortom, ik zie scenarios waar wat flinke piekbelasting mogelijk is, maar zeker niet continue.

Echter vind ik niets vervelender dan er na aanschaf pas achter te komen dat ik beperkt ben. Dan up ik liever de specs wat om over 2-3 jaar nog uit te komen. 2x32GB is nog wel het overwegen waard. Is een kit van twee altijd noodzakelijk, of kan ik 2x hetzelfde reepje bestellen? Er staat mij bij dat dit ooit van belang wat met gelijke timings van modules.

Edit: Over CPU beperkingen ben ik niet uit. Volgens mij is een i5 best en knap beestje, maar 2 Windows machines en een handje vol LXC containers zou, zoals ik het hier lees, wel moeten gaan, toch?

Ik heb niet zoveel ervaring met Windows Server (buiten mijn studie om) maar je moet jezelf de vraag stellen of je met 24GB genoeg hebt voor die Windows VM's (Aangezien je de rest nu doet onder de 8GB). Die i5 is niet min, maar ik denk gewoon dat je eerder tegen die 6 cores gaat aanlopen dan het RAM. Maar dat kun jij denk ik beter inschatten dan ik .

Die SSD mirror kan wel erg handig zijn voor redundancy maar ook niet te vergeten performance. Ik ben een Linux guy, en mijn Proxmox installatie heeft twee Samsung 860 PRO 512GB SSDs op RaidZ1 en hoewel Linux super snappy en snel is is Windows Server daar echt een heel stuk strager. Ik vermoed dat het gewoon Windows is, maar aangezien jij dus wel wat dingetjes met Windows gaat doen is extra performance misschien geen slecht idee

Ik weet niet of ik jouw vraag over RAM goed begrijp, maar je hebt maar twee RAM slots, dus het gaat of 2x16 of 2x32 moeten zijn.

[rachez]

Xion schreef op zaterdag 21 augustus 2021 @ 09:40:
[...]


Edit: Over CPU beperkingen ben ik niet uit. Volgens mij is een i5 best en knap beestje, maar 2 Windows machines en een handje vol LXC containers zou, zoals ik het hier lees, wel moeten gaan, toch?

Lijkt me geen probleem, maar is altijd lastig wat van te zeggen, het hangt helemaal ervan af wat je met de servers doet.

Om toch een idee te geven: ik draai hier 4 linux vm's met oa nextcloud, een dns server en een docker host met 10 containers (waaronder confluence / gitlab ) + 2 separate lxc containers op een i5-7260U. Cpu belasting is 15% Memory zit op 29GB.

Zolang ik geen applicaties draai die continue veel cpu vergen heb ik nog geen cpu bottleneck gehad. Wel een memory tekort.

[htca]

Ik heb een proxmox server draaien op een NUC en regelmatig wordt in de webgui de "status unknown"/grijs van de VM en de CT. Ze blijven wel draaien en zijn ook gewoon benaderbaar zowel via ssh als via de webgui. Een reboot laat de status weer groen worden.
Als ik in de syslog kijk, dan vindt ik deze meldingen:

code:

Aug 23 21:42:04 proxmox kernel: e1000e 0000:00:19.0 enp0s25: Detected Hardware Unit Hang:
  TDH                  <aa>
  TDT                  <cd>
  next_to_use          <cd>
  next_to_clean        <aa>
buffer_info[next_to_clean]:
  time_stamp           <1004e01c9>
  next_to_watch        <ab>
  jiffies              <1004e0478>
  next_to_watch.status <0>
MAC Status             <80083>
PHY Status             <796d>
PHY 1000BASE-T Status  <3800>
PHY Extended Status    <3000>
PCI Status             <10>
Aug 23 21:42:06 proxmox kernel: e1000e 0000:00:19.0 enp0s25: Detected Hardware Unit Hang:
  TDH                  <aa>
  TDT                  <cd>
  next_to_use          <cd>
  next_to_clean        <aa>
buffer_info[next_to_clean]:
  time_stamp           <1004e01c9>
  next_to_watch        <ab>
  jiffies              <1004e0670>
  next_to_watch.status <0>
MAC Status             <80083>
PHY Status             <796d>
PHY 1000BASE-T Status  <3800>
PHY Extended Status    <3000>
PCI Status             <10>
Aug 23 21:42:08 proxmox kernel: e1000e 0000:00:19.0 enp0s25: Detected Hardware Unit Hang:
  TDH                  <aa>
  TDT                  <cd>
  next_to_use          <cd>
  next_to_clean        <aa>
buffer_info[next_to_clean]:
  time_stamp           <1004e01c9>
  next_to_watch        <ab>
  jiffies              <1004e0860>
  next_to_watch.status <0>
MAC Status             <80083>
PHY Status             <796d>
PHY 1000BASE-T Status  <3800>
PHY Extended Status    <3000>
PCI Status             <10>
Aug 23 21:42:10 proxmox kernel: e1000e 0000:00:19.0 enp0s25: Detected Hardware Unit Hang:
  TDH                  <aa>
  TDT                  <cd>
  next_to_use          <cd>
  next_to_clean        <aa>
buffer_info[next_to_clean]:
  time_stamp           <1004e01c9>
  next_to_watch        <ab>
  jiffies              <1004e0a59>
  next_to_watch.status <0>
MAC Status             <80083>
PHY Status             <796d>
PHY 1000BASE-T Status  <3800>
PHY Extended Status    <3000>
PCI Status             <10>
Aug 23 21:42:12 proxmox kernel: e1000e 0000:00:19.0 enp0s25: Detected Hardware Unit Hang:
  TDH                  <aa>
  TDT                  <cd>
  next_to_use          <cd>
  next_to_clean        <aa>
buffer_info[next_to_clean]:
  time_stamp           <1004e01c9>
  next_to_watch        <ab>
  jiffies              <1004e0c48>
  next_to_watch.status <0>
MAC Status             <80083>
PHY Status             <796d>
PHY 1000BASE-T Status  <3800>
PHY Extended Status    <3000>
PCI Status             <10>

Wat ik begreep uit diverse zoek acties op het proxmox forum is dat deze foutmelding gerelateerd is aan de E1000 driver voor de NIC. Ik weet niet of dat direct met de "status unknown" situatie te maken heeft, maar andere foutmeldingen zie ik in de syslog niet voorbijkomen. Overigens heb ik geprobeerd dit met ethtool op te lossen, maar dat is me niet gelukt.
Mijn /etc/network/interfaces ziet er zo uit:

code:

auto lo
iface lo inet loopback

iface enp0s25 inet manual
        post-up /usr/bin/logger -p debug -t ifup "Disabling tso and gso for enp0s25" && /usr/sbin/ethtool -K enp0s25 tso off gso off && /usr/bin/logger -p debug -t ifup "Disabled tso and gso for enp0s25"

auto vmbr0
iface vmbr0 inet static
        address xx.xx.xx.xx/24
        gateway xx.xx.xx.xx
        bridge-ports enp0s25
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094

code:

root@proxmox:~# ethtool -i enp0s25
driver: e1000e
version: 5.11.22-3-pve
firmware-version: 0.2-4
expansion-rom-version: 
bus-info: 0000:00:19.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

Iemand een hint of oplossing hiervoor?

[KraveN]

Ik ben mijzelf ook aan het oriënteren in de magische wereld van proxmox.

Ik heb naar Unraid gekeken wat prima werkt, maar ik denk ook dat er voordelen zijn voor mij om met proxmox verder te gaan.

Een aantal vragen waar ik (nog) niet helemaal uit ben :

Stel je wil nextcloud draaien. Dan zijn er een aantal mogelijkheden :

1. Je installeert docker op je proxmox host en draait het vanuit daar.
2. Een LXC container met een OS en installeert daarin nextcloud
3. VM
4. Een LXC container met wat meer resources zodat je bijvoorbeeld docker/portainer gaat draaien voor het hosten van meerdere docker containers.

Nu hebben alle 4 de opties voor en nadelen. Persoonlijk zou ik optie 1 willen overslaan aangezien ik mijn host zo clean mogelijk wil houden.

Optie 3 lijkt mij overkill

Optie 2 en 4 blijven dan over. Nu ben ik nog niet heel bekend met LXC en ik zal waarschijnlijk een hele domme vraag stellen. Maar stel ik heb een 10 cpu cores in mijn host, ik maak een lxc container aan met bijvoorbeeld 2 cores. Kan ik die cores dan nog gebruiken voor andere lxc containers tegelijkertijd ? Of ben je ze net zoals bij een VM kwijt omdat je ze dan bijvoorbeeld hebt toegewezen aan een VM en als die draait zijn ze dus in gebruik ?

Ik weet dat er hier voor- en tegenstanders zijn van beide opties. LXC heeft voordelen en Docker heeft voordelen, ben er zelf nog niet helemaal achter wat voor mij het beste is om te doen.

Mijn doel is in ieder geval een stabiel systeem voor zaken die ik zelf kan gaan hosten zonder afhankelijk te zijn van een microsoft, apple of google.

Denk aan mail, foto's, opslag van bestanden, etc

Wat ik zeker wil gaan draaien :

- Nexctloud, Bitwarden, Adguard of Pihole, etc
- Win 10 VM met een grafische kaart als passthrough om overal in huis met behulp van parsec de hardware
te gebruiken

Verder is de hardware waarschijnlijk overkill maar dat geeft mij ook ruimte om dingen te testen en uit te proberen zoals bijvoorbeeld een mac os VM, of om een idee te krijgen van een magento webshop, wat scripts te maken met python, home automation, etc.

[ Voor 0% gewijzigd door KraveN op 25-08-2021 01:25 . Reden: typo ]

[orvintax]

Maar stel ik heb een 10 cpu cores in mijn host, ik maak een lxc container aan met bijvoorbeeld 2 cores. Kan ik die cores dan nog gebruiken voor andere lxc containers tegelijkertijd ? Of ben je ze net zoals bij een VM kwijt omdat je ze dan bijvoorbeeld hebt toegewezen aan een VM en als die draait zijn ze dus in gebruik ?

Het is niet zo dat je cores "kwijt" raakt wanneer je ze aan een VM of LXC container geeft. Wat je eigenlijk doet is een limiet stellen, ik heb zelf in mijn server 12 cores zitten maar ik kan je garanderen dat ik er minimaal 20 "toegewezen" heb.

[htca]

KraveN schreef op woensdag 25 augustus 2021 @ 01:24:
Stel je wil nextcloud draaien. Dan zijn er een aantal mogelijkheden :

1. Je installeert docker op je proxmox host en draait het vanuit daar.
2. Een LXC container met een OS en installeert daarin nextcloud
3. VM
4. Een LXC container met wat meer resources zodat je bijvoorbeeld docker/portainer gaat draaien voor het hosten van meerdere docker containers.

Wat ik zeker wil gaan draaien :

- Nexctloud, Bitwarden, Adguard of Pihole, etc
- Win 10 VM met een grafische kaart als passthrough om overal in huis met behulp van parsec de hardware
te gebruiken

Ik draai hier een proxmox server waarop 3 containers staan (waarvan 2 actief) en 2 VM:
- CentOs container (staat uit, beetje om te experimenteren)
- pihole container
- debian container die vooral cronjobs draait om data van het web te trekken
- Home assistant VM
- webserver VM waarop Nextcloud draait

Het draait op een i7-5557U met 16 GB geheugen. Ik heb in het verleden ook wel een windows 10 gedraait, maar gebruikte ik amper. Ik heb de Nextcloud vm 4 cpu toegekend (vooral omdat ik mijn hele foto archief via face recognition wilde nalopen) met 8 GB. De andere anderen hebben (veel) minder. Maar de average CPU load is laag, de i7 is overkill wat dat betreft.
qua disks heb ik een 128GB SSD waar alles op draait en een 2TB HDD waar de data opstaat. Backups van de VM als de CT worden weggeschreven naar mijn synology NAS.

Of alles het meest logisch is, geen idee. Het werkt hier en stabiel (op het netwerk probleempje hierboven na, maar dat lijk ik getackeld te hebben). Ik zou zeggen probeer gewoon eea een tijdje voor je definitief een productie omgeving op zet.

[rachez]

@htca Uit nieuwsgierigheid: hoe heb je je netwerk probleempje opgelost? Ik heb hier alleen eth0 en een vmbr0 bridge, dus niet de enp0s25 interface

[htca]

rachez schreef op woensdag 25 augustus 2021 @ 13:25:
@htca Uit nieuwsgierigheid: hoe heb je je netwerk probleempje opgelost? Ik heb hier alleen eth0 en een vmbr0 bridge, dus niet de enp0s25 interface

enp0s25 is de netwerk interface. Die is bij jou eth0. Vmbr0 is de bridge.

Anyway, ik heb pcie_aspm in de boot opties uitgezet

code:

pcie_aspm=off

en dit commando hen ik opgenomen in /etc/network/interfaces zodat het wordt uitgevoerd bij een reboot:

code:

ethtool -K enp0s25 tso off gso off gro off

Er zijn ook mensen die dit commando geven:

code:

ethtool -K enp0s25 gso off gro off tso off tx off rx off rxvlan off txvlan off sg off

Waarbij enp0s25 moet worden vervangen door je eigen interface
Overigens is het geen oplossing maar een workaround. Er blijkt een bug in de intel driver voor de NIC te zitten.

[ Voor 13% gewijzigd door htca op 25-08-2021 13:33 ]

[rachez]

Check ik heb die meldingen hier ook op een Nuc zie ik, die andere niet.

Bij mij lijkt de nic zich wel weer te herstellen na 30 seconden, dus geen unresponsive status in de webgui.
Thx anyway, zal er op letten.

[nero355]

@htca @rachez
Misschien effe handig om erbij te vermelden :
- Welke NUC ?
- Welke NIC ?

Wel zo handig voor de Search

KraveN schreef op woensdag 25 augustus 2021 @ 01:24:
Stel je wil nextcloud draaien. Dan zijn er een aantal mogelijkheden :

1. Je installeert docker op je proxmox host en draait het vanuit daar.
2. Een LXC container met een OS en installeert daarin nextcloud
3. VM
4. Een LXC container met wat meer resources zodat je bijvoorbeeld docker/portainer gaat draaien voor het hosten van meerdere docker containers.

Nu hebben alle 4 de opties voor en nadelen. Persoonlijk zou ik optie 1 willen overslaan aangezien ik mijn host zo clean mogelijk wil houden.

Optie 3 lijkt mij overkill

Optie 2 en 4 blijven dan over.

Denk aan mail, foto's, opslag van bestanden

Optie #3 is IMHO wel de beste en dan i.c.m. een andere VM die voor NAS speelt i.c.m. een Passthrough HBA of juist alles in dezelfde VM

- Win 10 VM met een grafische kaart als passthrough om overal in huis met behulp van parsec de hardware te gebruiken.

Overal in huis Parsec

Klinkt groot en extreem!

VERTEL!!!

[rachez]

NUC7i5BNH en de NUC10i7FNH. Beiden dezelfde nic: I219-V.

Bij de eerste treedt het issue op, bij die tweede niet geconstateerd, maar zal er ook wel inzitten.

[htca]

nero355 schreef op woensdag 25 augustus 2021 @ 17:28:
@htca @rachez
Misschien effe handig om erbij te vermelden :
- Welke NUC ?
- Welke NIC ?

Wel zo handig voor de Search

Mijn nuc is een i7-5557U, nic moet even schuldig blijven, maar is een Intel nic

[orvintax]

KraveN schreef op woensdag 25 augustus 2021 @ 01:24:
Ik ben mijzelf ook aan het oriënteren in de magische wereld van proxmox.

Ik heb naar Unraid gekeken wat prima werkt, maar ik denk ook dat er voordelen zijn voor mij om met proxmox verder te gaan.

Een aantal vragen waar ik (nog) niet helemaal uit ben :

Stel je wil nextcloud draaien. Dan zijn er een aantal mogelijkheden :

1. Je installeert docker op je proxmox host en draait het vanuit daar.
2. Een LXC container met een OS en installeert daarin nextcloud
3. VM
4. Een LXC container met wat meer resources zodat je bijvoorbeeld docker/portainer gaat draaien voor het hosten van meerdere docker containers.

Nu hebben alle 4 de opties voor en nadelen. Persoonlijk zou ik optie 1 willen overslaan aangezien ik mijn host zo clean mogelijk wil houden.

Optie 3 lijkt mij overkill

Optie 2 en 4 blijven dan over. Nu ben ik nog niet heel bekend met LXC en ik zal waarschijnlijk een hele domme vraag stellen. Maar stel ik heb een 10 cpu cores in mijn host, ik maak een lxc container aan met bijvoorbeeld 2 cores. Kan ik die cores dan nog gebruiken voor andere lxc containers tegelijkertijd ? Of ben je ze net zoals bij een VM kwijt omdat je ze dan bijvoorbeeld hebt toegewezen aan een VM en als die draait zijn ze dus in gebruik ?

Ik weet dat er hier voor- en tegenstanders zijn van beide opties. LXC heeft voordelen en Docker heeft voordelen, ben er zelf nog niet helemaal achter wat voor mij het beste is om te doen.

Mijn doel is in ieder geval een stabiel systeem voor zaken die ik zelf kan gaan hosten zonder afhankelijk te zijn van een microsoft, apple of google.

Denk aan mail, foto's, opslag van bestanden, etc

Wat ik zeker wil gaan draaien :

- Nexctloud, Bitwarden, Adguard of Pihole, etc
- Win 10 VM met een grafische kaart als passthrough om overal in huis met behulp van parsec de hardware
te gebruiken

Verder is de hardware waarschijnlijk overkill maar dat geeft mij ook ruimte om dingen te testen en uit te proberen zoals bijvoorbeeld een mac os VM, of om een idee te krijgen van een magento webshop, wat scripts te maken met python, home automation, etc.

Ik gebruik zelf trouwens optie twee vanwege de volgende redenen:

• Minder overhead
• Security (kind of), ik maak enkel gebruik van unprivileged containers waarbij standaard wat apparmor dingetjes aan staan en ze niet gebruik kunnen maken van cifs/nfs/fuse enz.

Voor de rest heb ik voor Nextcloud wel een mount point er nog in hangen zodat die container alsnog via via aan mijn NFS share kan voor userdata.

[rachez]

orvintax schreef op woensdag 25 augustus 2021 @ 19:41:
[...]

Ik gebruik zelf trouwens optie twee vanwege de volgende redenen:

• Minder overhead
• Security (kind of), ik maak enkel gebruik van unprivileged containers waarbij standaard wat apparmor dingetjes aan staan en ze niet gebruik kunnen maken van cifs/nfs/fuse enz.

Voor de rest heb ik voor Nextcloud wel een mount point er nog in hangen zodat die container alsnog via via aan mijn NFS share kan voor userdata.

Je eerste punt klopt helemaal, maar wat is het security voordeel van een lxc ten opzichte van bv een losse vm?

[orvintax]

rachez schreef op woensdag 25 augustus 2021 @ 20:08:
[...]


Je eerste punt klopt helemaal, maar wat is het security voordeel van een lxc ten opzichte van bv een losse vm?

Nou wat ik er dus eerder al bij zette:

(kind of), ik maak enkel gebruik van unprivileged containers waarbij standaard wat apparmor dingetjes aan staan en ze niet gebruik kunnen maken van cifs/nfs/fuse enz.

[rachez]

hmm, kind off dan.

[orvintax]

rachez schreef op woensdag 25 augustus 2021 @ 20:17:
hmm, kind off dan.

Ja daarom, het is discutabel vandaar dat ik "kind off" erbij zette.

[htca]

htca schreef op woensdag 25 augustus 2021 @ 17:58:
[...]

Mijn nuc is een i7-5557U, nic moet even schuldig blijven, maar is een Intel nic

Helaas vanmorgen om 4.05:

code:

e1000e 0000:00:19.0 enp0s25: Detected Hardware Unit Hang:

[KraveN]

[b]nero355 schreef op woensdag 25 augustus 2021 @ 17:28:

[...]

Overal in huis Parsec

Klinkt groot en extreem!

VERTEL!!!

Zo heel spannend is het eigenlijk niet, maar ik zal het proberen uit te leggen.

Ik ben in het bezit van een qnap nas, prima ding, echter is de software het op de één of andere manier net niet. Nu kun je ook docker containers draaien, maar goed wat betreft snelheid en overhead niet je van het. Daarnaast lees ik meer en meer dat qnap devices getarget worden door ransomware of wat er tegenwoordig allemaal in omloop is. Nu ben ik daar nog niet zo bang voor want hij hangt niet direct aan het internet (lees er staan geen poorten open). Maar ik heb iedere keer al ik inlog wel een firmware update of software update en dan moet hij eerst herstarten, dan de update en vervolgens kan ik weer aan de slag. Maar als je er bijvoorbeeld pihole op draait ligt de rest van je internet plat, of je moet even in je router weer je dns aanpassen. Nu kan ik gelukkig tegenwoordig dat ook een 2e opgeven i.v.m. andere router.

Prima redenen om voor zelfbouw te gaan, meer performance voor minder geld alleen waarschijnlijk wat meer tjid omdat je meer zelf moet doen, maar goed daar kun je weer van leren.

Nu werk ik sinds corona eigenlijk voornamelijk thuis en heb ik twee werkplekken. Nu heb ik beneden een mooie ruimte kantoor/speelruimte en dat is prima bedacht voor als de kids er niet zijn of in bed liggen. Maar als ze thuis komen uit school en ze nemen vriendjes/vriendinnetjes mee dan is dat niet ideaal en ik ga ze niet verbieden om met speelgoed te spelen. Dus dan verkas ik meestal naar de zolder. Echter wil ik niet iedere keer alles inpluggen en koppelen. Dus toen kwam ik met het idee, wat als ik nu op een centrale lokatie in huis een pc neerzet met daarin krachtige hardware die ik over het netwerk kan gebruiken. Ik heb een tijdje gebruik gemaakt van shadow cloud gaming en dat beviel prima. Natuurlijk is het nooit hetzelfde als wanneer je direct speelt op de hardware, maar voor mij was shadow ook prima. En lokaal kan het alleen maar verbeteren tov internet. Het voordeel hiervan is dat ik als client wat dan ook kan gebruiken zolang ik bijvoorbeeld parsec of moonlight (afhankelijk van de video kaart) kan draaien. Een mooi project dacht ik

Maar als ik er nog eens goed over nadenk, misschien niet ideaal in de zin van het te combineren met een aantal docker containers,vm's of storage. Want dan laat ik de krachtigere hardware 24/7 draaien, terwijl die in 70% of meer van de gevallen niks staat te doen.

Dus eigenlijk ben ik alweer aan het twijfelen of ik niet beter mijn nuc in de meterkast kan hangen, met daarin een m2 512 gb en een 2tb hdd. Eventueel nog via usb3 of thunderbolt wat extra schijven en daar proxmox op te laten draaien met de benodigde containers, vm, backups. En als ik dan op een andere plek in huis gebruik wil maken van de krachtigere hardware dat ik hem gewoon aanzet en alsnog verbinding mee maak.

Keuzes keuzes keuzes.

Om een lang verhaal kort te maken, ik ben er nog niet uit. Aan ideeën ontbreekt het in ieder geval niet.

Hoe gaat proxmox om met usb devices ? Is dat stabiel of niet aan te raden ?

[smeerbartje]

rachez schreef op vrijdag 20 augustus 2021 @ 17:48:
Backup naar synology kan op meerdere manieren, maar ik gebruiken een nfs share op de synology, met de volgende entry in mijn fstab op de proxmox host:

code:

servernaam.lan:/volume1/files1/share_linux /mnt/mymount/share_linux   nfs      rw,sync,hard,intr  0     0

en onder datacenter > storage > add kan je hem dan toevoegen:
[Afbeelding]

Vraag: waarom voeg je de NFS share niet toe via de GUI? (never mind, je had elders al een antwoord gegeven)

[ Voor 3% gewijzigd door smeerbartje op 26-08-2021 19:52 ]

[maomanna]

Sinds maandag heb ik mijn proxmox machine uitgeschakeld gehad, Mijn hele huis is spanning vrij geweest voor een bepaalde tijd. Nadat de spanning weer is geregeld, start mijn machine op met een locked filesystem.

de webgui is niet meer te benaderen, VM's starten niet op.

Tijdens het opstarten zie ik sommige processen failen, maar het gaat zo snel dat ik het niet kan zien.

LSBLK doet dit:

code:

root@pve:/ lsblk
NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                            8:0    0   7.3T  0 disk
├─sda1                         8:1    0   7.3T  0 part
└─sda9                         8:9    0     8M  0 part
sdb                            8:16   0   7.3T  0 disk
├─sdb1                         8:17   0   7.3T  0 part
└─sdb9                         8:25   0     8M  0 part
sdc                            8:32   0   7.3T  0 disk
├─sdc1                         8:33   0   7.3T  0 part
└─sdc9                         8:41   0     8M  0 part
sdd                            8:48   0   7.3T  0 disk
├─sdd1                         8:49   0   7.3T  0 part
└─sdd9                         8:57   0     8M  0 part
nvme0n1                      259:0    0 931.5G  0 disk
├─nvme0n1p1                  259:1    0  1007K  0 part
├─nvme0n1p2                  259:2    0   512M  0 part
└─nvme0n1p3                  259:3    0   931G  0 part
  ├─pve-swap                 253:0    0     8G  0 lvm
  ├─pve-root                 253:1    0    96G  0 lvm  /
  ├─pve-data_tmeta           253:2    0   8.1G  0 lvm
  │ └─pve-data-tpool         253:4    0 794.8G  0 lvm
  │   ├─pve-data             253:5    0 794.8G  0 lvm
  │   ├─pve-vm--102--disk--0 253:6    0    32G  0 lvm
  │   ├─pve-vm--100--disk--0 253:7    0   642G  0 lvm
  │   ├─pve-vm--101--disk--0 253:8    0    32G  0 lvm
  │   └─pve-vm--103--disk--0 253:9    0    32G  0 lvm
  └─pve-data_tdata           253:3    0 794.8G  0 lvm
    └─pve-data-tpool         253:4    0 794.8G  0 lvm
      ├─pve-data             253:5    0 794.8G  0 lvm
      ├─pve-vm--102--disk--0 253:6    0    32G  0 lvm
      ├─pve-vm--100--disk--0 253:7    0   642G  0 lvm
      ├─pve-vm--101--disk--0 253:8    0    32G  0 lvm
      └─pve-vm--103--disk--0 253:9    0    32G  0 lvm

De schijf nvme is nog lang niet vol. en is onlangs toegevoegd als boot disk (Kingston A2000 1TB NVME SSD) Proxmox is een nieuwe installatie.

Hebben jullie een idee wat het kan zijn en hoe ik dit op kan lossen?

Ik overweeg een herinstallatie.

[m.eddy]

maomanna schreef op donderdag 26 augustus 2021 @ 22:13:
Sinds maandag heb ik mijn proxmox machine uitgeschakeld gehad, Mijn hele huis is spanning vrij geweest voor een bepaalde tijd. Nadat de spanning weer is geregeld, start mijn machine op met een locked filesystem.

de webgui is niet meer te benaderen, VM's starten niet op.

Tijdens het opstarten zie ik sommige processen failen, maar het gaat zo snel dat ik het niet kan zien.

LSBLK doet dit:

code:

root@pve:/ lsblk
NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                            8:0    0   7.3T  0 disk
├─sda1                         8:1    0   7.3T  0 part
└─sda9                         8:9    0     8M  0 part
sdb                            8:16   0   7.3T  0 disk
├─sdb1                         8:17   0   7.3T  0 part
└─sdb9                         8:25   0     8M  0 part
sdc                            8:32   0   7.3T  0 disk
├─sdc1                         8:33   0   7.3T  0 part
└─sdc9                         8:41   0     8M  0 part
sdd                            8:48   0   7.3T  0 disk
├─sdd1                         8:49   0   7.3T  0 part
└─sdd9                         8:57   0     8M  0 part
nvme0n1                      259:0    0 931.5G  0 disk
├─nvme0n1p1                  259:1    0  1007K  0 part
├─nvme0n1p2                  259:2    0   512M  0 part
└─nvme0n1p3                  259:3    0   931G  0 part
  ├─pve-swap                 253:0    0     8G  0 lvm
  ├─pve-root                 253:1    0    96G  0 lvm  /
  ├─pve-data_tmeta           253:2    0   8.1G  0 lvm
  │ └─pve-data-tpool         253:4    0 794.8G  0 lvm
  │   ├─pve-data             253:5    0 794.8G  0 lvm
  │   ├─pve-vm--102--disk--0 253:6    0    32G  0 lvm
  │   ├─pve-vm--100--disk--0 253:7    0   642G  0 lvm
  │   ├─pve-vm--101--disk--0 253:8    0    32G  0 lvm
  │   └─pve-vm--103--disk--0 253:9    0    32G  0 lvm
  └─pve-data_tdata           253:3    0 794.8G  0 lvm
    └─pve-data-tpool         253:4    0 794.8G  0 lvm
      ├─pve-data             253:5    0 794.8G  0 lvm
      ├─pve-vm--102--disk--0 253:6    0    32G  0 lvm
      ├─pve-vm--100--disk--0 253:7    0   642G  0 lvm
      ├─pve-vm--101--disk--0 253:8    0    32G  0 lvm
      └─pve-vm--103--disk--0 253:9    0    32G  0 lvm

De schijf nvme is nog lang niet vol. en is onlangs toegevoegd als boot disk (Kingston A2000 1TB NVME SSD) Proxmox is een nieuwe installatie.

Hebben jullie een idee wat het kan zijn en hoe ik dit op kan lossen?

Ik overweeg een herinstallatie.

Google die A2000, er zijn problemen met Linux icm power states. Wellicht speelt dat hier ook.

Zorgen over mijn Kingston A2000 1TB

[maomanna]

mmm ok, niet zo zeer een kingston issue, maar linux. eens even kijken of ik grub aan kan passen en wat het doet. Dank voor de hint!

[ Voor 8% gewijzigd door maomanna op 27-08-2021 12:43 ]

[nero355]

KraveN schreef op donderdag 26 augustus 2021 @ 19:39:
Maar als je er bijvoorbeeld pihole op draait ligt de rest van je internet plat, of je moet even in je router weer je dns aanpassen. Nu kan ik gelukkig tegenwoordig dat ook een 2e opgeven i.v.m. andere router.

Die tweede DNS Server is neem ik aan ook een Pi-Hole die je zelf host

Anders ga je namelijk rare dingen ervaren, want Primary en Secondary zijn in de praktijk Random Servers 1 & 2 die worden geraadpleegd!

Maar als ik er nog eens goed over nadenk, misschien niet ideaal in de zin van het te combineren met een aantal docker containers,vm's of storage. Want dan laat ik de krachtigere hardware 24/7 draaien, terwijl die in 70% of meer van de gevallen niks staat te doen.

Ik weet niet wat je allemaal erin hebt zitten, maar het IDLE verbruik van een CPU kan heel laag zijn en zelfs iets als een GTX 1080 zit op maar 8 Watt of zo!

Als je de VM uitschakelt wanneer je de boel niet nodig hebt zou het verbruik misschien nog lager kunnen zijn, maar dat durf ik niet met zekerheid te zeggen...

Dus eigenlijk ben ik alweer aan het twijfelen of ik niet beter mijn nuc in de meterkast kan hangen, met daarin een m2 512 gb en een 2tb hdd. Eventueel nog via usb3 of thunderbolt wat extra schijven en daar proxmox op te laten draaien met de benodigde containers, vm, backups. En als ik dan op een andere plek in huis gebruik wil maken van de krachtigere hardware dat ik hem gewoon aanzet en alsnog verbinding mee maak.

Keuzes keuzes keuzes.

Ik zou gewoon lekker die Proxmox bak i.c.m. een "Full Size" PC gebruiken en afhankelijk van wat je qua verbruik straks ervaart eventueel die Game PC/VM afsplitsen van het geheel!

[scorpion303]

htca schreef op donderdag 26 augustus 2021 @ 08:56:
[...]

Helaas vanmorgen om 4.05:

code:

e1000e 0000:00:19.0 enp0s25: Detected Hardware Unit Hang:

Ik had op mijn Intel NUC/Proxmox omgeving ook problemen met vastlopers. Uiteindelijk leek dit veroorzaakt te worden door Intel NIC driver issues, waarbij de NIC compleet vastliep bij het (flink) belasten van de netwerkinterface.

Ik heb uiteindelijk de oplossingen toegepast zoals beschreven in het volgende topic...

interface being reset all the time under heavy load
https://forum.proxmox.com/threads/e1000-driver-hang.58284

.. wellicht ook voor jou relevant?

[htca]

scorpion303 schreef op vrijdag 27 augustus 2021 @ 15:07:
[...]

Ik had op mijn Intel NUC/Proxmox omgeving ook problemen met vastlopers. Uiteindelijk leek dit veroorzaakt te worden door Intel NIC driver issues, waarbij de NIC compleet vastliep bij het (flink) belasten van de netwerkinterface.

Ik heb uiteindelijk de oplossingen toegepast zoals beschreven in het volgende topic...

interface being reset all the time under heavy load
https://forum.proxmox.com/threads/e1000-driver-hang.58284

.. wellicht ook voor jou relevant?

Ja ook al geprobeerd. Maar misschien doe ik iets niet goed. Maar goed, hij komt vanzelf weer op, goed is het niet, maar het werkt….

[KraveN]

nero355 schreef op vrijdag 27 augustus 2021 @ 14:43:
[...]

Die tweede DNS Server is neem ik aan ook een Pi-Hole die je zelf host

Anders ga je namelijk rare dingen ervaren, want Primary en Secondary zijn in de praktijk Random Servers 1 & 2 die worden geraadpleegd!

Helaas niet, maar dat zou inderdaad wel moeten.

Ik weet niet wat je allemaal erin hebt zitten, maar het IDLE verbruik van een CPU kan heel laag zijn en zelfs iets als een GTX 1080 zit op maar 8 Watt of zo!

Als je de VM uitschakelt wanneer je de boel niet nodig hebt zou het verbruik misschien nog lager kunnen zijn, maar dat durf ik niet met zekerheid te zeggen...

De CPU is een i9 10900 en die kan in idle inderdaad wel redelijk zakken. Een grafische kaart kan zeker idle wel zuinig zijn, maar pas als er een driver achter zit. Dus soms is het dan beter om hem aan een VM mee te geven met de juiste drivers. Ik heb alleen op het moment nog geen GFX, iets met de huidige markt. Dus ik wacht nog wel even.

Ik zou gewoon lekker die Proxmox bak i.c.m. een "Full Size" PC gebruiken en afhankelijk van wat je qua verbruik straks ervaart eventueel die Game PC/VM afsplitsen van het geheel!

Het probleem met de nuc is de opslag capaciteit. Ik ga voor nu gewoon de i9 inrichten met proxmox, dan ben ik flexibel en ik ga monitoren wat het verbruik is. Mijn nas hoef ik dan niet meer aan te zetten, scheelt ook weer stroom en ik heb voorlopig genoeg overhead om mee te experimenteren.

[TheMystery]

Ik ben van plan Proxmox te gaan gebruiken, grootste reden hiervoor is dat ik Home Assistant nu nog via een rasbian image draai op een pi4 met M2 en ik wil toch wat betere mogelijkheden om backup's/snapshots te maken aangezien er toch redelijk veel in zit tegenwoordig.
Op dit moment ben ik aan het uitzoeken hoe ik alles wat ik nu heb draaien het beste kan gaan draaien via proxmox, onderstaande heb ik nu draaien:

pi4:
homeassistant (python virtual environment)
zigbee2mqtt (native)
mosquitto (native)
certbot letsencrypt (native)
node-red (native)
homebridge (native) (alleen om camera’s in homekit te krijgen rest loopt via ha)
ffmpeg compiled with omx hardware accelearation tbv mijn camera’s binnen homebride en ha
docker:
esphome
dsmr reader + postgres
pi-hole
nginx reverse proxy

pi2:
pi-hole
unifi

Nas ds415+:
plex (native)

Ik heb een pc ter beschikking die ik hiervoor wil gebruiken, dit is een prodesk 400G6 SFF, met een i-5 9500 (6 cores 3Ghz Turbo 4,4Ghz) 8Gb geheugen en een M2 WD blue 256G.

Ik heb Proxmox al draaien en hier ook even HA OS op gezet om naar de mogelijkheden te kijken.

Ik denk dat ik het beste HA OS kan gaan gebruiken met de domotica gerelateerde programma’s die nu ook op de pi4 draaien, alleen homebridge is niet binnen de add-on store beschikbaar van HA maar die kan ik dan wel via portainer installeren. Zelfde geld voor pi-hole maar misschien eens kijken naar AdGuard home of anders pi-hole via portainer.

Pi 2 ga ik dan uitfaseren en unifi en pi-hole/adguard plaatsen op de pi4 via docker

Plex wil ik van de NAS afhalen en in proxmox erbij gaan draaien met hardware acceleration aangezien de NAS geen 4k aankan en het 4k beeld materiaal wordt steeds meer.

Nu komt eigenlijk mijn vraag als ik gebruik wil maken van hardware acceleration voor Plex en voor als het kan in HA voor ffmpeg en in de toekomst frigate voor person detection. Kan ik dan het beste binnen HA Plex installeren of toch beter apart in een LXC of een LXC met docker of een debian linux VM met docker? Ik verwacht dat de GPU (Intel UHD 630) namelijk maar naar VM kan, al kan ik dit niet direct vinden. Ik heb binnen Proxmox wel 2 vm’s aangemaakt en bij beide kan ik hetzelfde pci apparaat koppelen.

[nero355]

TheMystery schreef op maandag 30 augustus 2021 @ 12:14:
Nas ds415+:
plex (native)

Plex wil ik van de NAS afhalen en in proxmox erbij gaan draaien met hardware acceleration aangezien de NAS geen 4k aankan en het 4k beeld materiaal wordt steeds meer.

Nu komt eigenlijk mijn vraag als ik gebruik wil maken van hardware acceleration voor Plex en voor als het kan in HA voor ffmpeg en in de toekomst frigate voor person detection. Kan ik dan het beste binnen HA Plex installeren of toch beter apart in een LXC of een LXC met docker of een debian linux VM met docker? Ik verwacht dat de GPU (Intel UHD 630) namelijk maar naar VM kan, al kan ik dit niet direct vinden. Ik heb binnen Proxmox wel 2 vm’s aangemaakt en bij beide kan ik hetzelfde pci apparaat koppelen.

Ik wil niet lullig doen, maar het is alweer bijna 2022 over een maand of 4 en het wordt weleens tijd dat we van die transcoding meuk af komen!

Dus mijn vraag aan jou : Voor welke apparaten moet je nog steeds transcoderen en hoe oud zijn die wel niet

Je schrijft dat de NAS geen Ultra HD aan kan, maar IMHO hoort een NAS ook niks af te spelen : Dat doet een Mediaplayer of DIY HTPC of desnoods Plex/Kodi/Jellyfin/OSMC/Emby op je "Smart" TV

[TheMystery]

nero355 schreef op maandag 30 augustus 2021 @ 14:35:
[...]

Ik wil niet lullig doen, maar het is alweer bijna 2022 over een maand of 4 en het wordt weleens tijd dat we van die transcoding meuk af komen!

Dus mijn vraag aan jou : Voor welke apparaten moet je nog steeds transcoderen en hoe oud zijn die wel niet

Je schrijft dat de NAS geen Ultra HD aan kan, maar IMHO hoort een NAS ook niks af te spelen : Dat doet een Mediaplayer of DIY HTPC of desnoods Plex/Kodi/Jellyfin/OSMC/Emby op je "Smart" TV

Geen ik gebruik een aantal shield tv's met kodi + plex kodi connect en apple tv 4k, maar soms is 4k een bandbreedte probleem buitenshuis dus wil de mogelijkheid nog hebben.

[orvintax]

nero355 schreef op maandag 30 augustus 2021 @ 14:35:
[...]

Ik wil niet lullig doen, maar het is alweer bijna 2022 over een maand of 4 en het wordt weleens tijd dat we van die transcoding meuk af komen!

Dus mijn vraag aan jou : Voor welke apparaten moet je nog steeds transcoderen en hoe oud zijn die wel niet

Je schrijft dat de NAS geen Ultra HD aan kan, maar IMHO hoort een NAS ook niks af te spelen : Dat doet een Mediaplayer of DIY HTPC of desnoods Plex/Kodi/Jellyfin/OSMC/Emby op je "Smart" TV

Eheum de Chromecast van 2018 kan geen H.265 aan En die is dus max drie jaar oud...

[orvintax]

En zoals OP zei is het wel fijn om de ruimte te hebben om niet altijd in 4K te moeten kijken.

[nero355]

orvintax schreef op maandag 30 augustus 2021 @ 16:23:
Eheum de Chromecast van 2018 kan geen H.265 aan En die is dus max drie jaar oud...

Klopt : Dan moet je de Chromecast Ultra hebben dus dat is je eigen schuld!