Het grote Proxmox VE topic

[CurlyMo]

powerboat schreef op dinsdag 21 april 2020 @ 19:55:
[...]


Agree! LXC containers zijn efficienter, althans dat ervaar ik ook in mijn thuis omgeving. Echter twijfel ik om dit in productie te gaan gebruiken.

Geheugen, cpu en storage (SSD) geen probleem hier

Ik heb pure lxc containers wel in productie gehad voor het draaien van WordPress sites. In die twee jaar nooit problemen gehad. Dat was echter geen proxmox. Binnenkort wil ik wel een vps gaan aan slingeren met proxmox voor opnieuw webhosting in lxc containers.

Waarom twijfel je?

[pieterjangoeman]

Hi iedereen!

een proxmox noob hier:

ik heb proxmox geïnstalleerd op mijn 256 GB ssd, daarnaast ga ik 4 3TB schijven toevoegen in raid.
Nu heb ik al gewerkt met freenas, daar kan je de boot drive niet meer gebruiken voor storage, hier wel geloof ik, alleen snap ik er niet alles van.
Ik zie namelijk wat cijfers in de portal die voor mij tegenstrijdig lijken:
Bij summery zie ik 1.86 GB of 58.07 used.
Bij disks- lvm zie ik een 237 GB disk, die voor 93% gebruikt is.
Bij - lvm thin zie ik een lege van 152 GB

Hoe zit dit net in elkaar? Ik zou graag de ssd nog voor vm boot drives gebruiken, en voor containers.

Bedankt!

[powerboat]

CurlyMo schreef op dinsdag 21 april 2020 @ 20:14:
[...]

Ik heb pure lxc containers wel in productie gehad voor het draaien van WordPress sites. In die twee jaar nooit problemen gehad. Dat was echter geen proxmox. Binnenkort wil ik wel een vps gaan aan slingeren met proxmox voor opnieuw webhosting in lxc containers.

Waarom twijfel je?

Skoezie voor de late reactie.

Heb weleens wat problemen gehad met het restoren van een backup die op een nieuwere hosts zat. Waarbij dit bij full virtualization een minder probleem is.

[Berkeley]

powerboat schreef op dinsdag 21 april 2020 @ 19:55:
[...]


Agree! LXC containers zijn efficienter, althans dat ervaar ik ook in mijn thuis omgeving. Echter twijfel ik om dit in productie te gaan gebruiken.

Geheugen, cpu en storage (SSD) geen probleem hier

Hier zo’n 50+ LXCs in productie en wij hebben besloten alles langzaam aan te migreren naar KVM. Zien veel out-of memory issues, nodes die geheel vast lopen door 1 container, problemen met migraties tussen nodes etc...

Dit terwijl we deze problemen met KVM niet ondervinden.. Terwijl we zeker 200+ KVM’s hebben. Daarnaast heeft KVM betere tuning opties(cache, numa, iops limieten etc).

[powerboat]

Berkeley schreef op vrijdag 8 mei 2020 @ 13:45:
[...]


Hier zo’n 50+ LXCs in productie en wij hebben besloten alles langzaam aan te migreren naar KVM. Zien veel out-of memory issues, nodes die geheel vast lopen door 1 container, problemen met migraties tussen nodes etc...

Dit terwijl we deze problemen met KVM niet ondervinden.. Terwijl we zeker 200+ KVM’s hebben. Daarnaast heeft KVM betere tuning opties(cache, numa, iops limieten etc).

Inmiddels ook de keuze gemaakt en gaan voor KVM.

Laatste probleem gehad met restoren van van proxmox 5 naar 6. Tevens werkt livemigration ook niet met lxc wat een showstopper is.

[Berkeley]

powerboat schreef op vrijdag 8 mei 2020 @ 13:53:
[...]


Inmiddels ook de keuze gemaakt en gaan voor KVM.

Laatste probleem gehad met restoren van van proxmox 5 naar 6. Tevens werkt livemigration ook niet met lxc wat een showstopper is.

Issues met restoren heb ik eigenlijk nog nooit gehad. Het ontbreken van livemigratie is inderdaad wel erg jammer.

Aan de andere kant boot een LXC wel weer veel sneller.. Dus met een beetje fatsoenlijke shared storage en migratie netwerk merk je zo’n offline migratie ook bijna niet.

[powerboat]

Berkeley schreef op vrijdag 8 mei 2020 @ 13:57:
[...]


Issues met restoren heb ik eigenlijk nog nooit gehad. Het ontbreken van livemigratie is inderdaad wel erg jammer.

Aan de andere kant boot een LXC wel weer veel sneller.. Dus met een beetje fatsoenlijke shared storage en migratie netwerk merk je zo’n offline migratie ook bijna niet.

Nee, dat klopt maar met kvm hoef ik geen downtime in te plannen. 0-)

Iemand ervaring met KVM + Ceph en SSD op een 3-node cluster ?

[Berkeley]

powerboat schreef op vrijdag 8 mei 2020 @ 14:04:
[...]


Nee, dat klopt maar met kvm hoef ik geen downtime in te plannen. 0-)

Iemand ervaring met KVM + Ceph en SSD op een 3-node cluster ?

Wel ervaring met een hyperconverged cluster met Sas schijven. Grootste issue is eigenlijk memory management. Dus garanderen dat je OSDs genoeg memory hebben en niet verdrukt worden door je VM’s.

Als je er de resources voor hebt raad ik aan ceph en proxmox te scheiden. Dat werkt toch het beste.

Zou zelf graag nog een keer willen testen met ceph bijvoorbeeld in een VM te draaien en dan gewoon passthrough te doen van de disks bijvoorbeeld. Op die manier kan je wel de resources van je hyperconverged ceph cluster enigszins garanderen.

[Puller]

powerboat schreef op vrijdag 8 mei 2020 @ 13:53:
[...]


Inmiddels ook de keuze gemaakt en gaan voor KVM.

Laatste probleem gehad met restoren van van proxmox 5 naar 6. Tevens werkt livemigration ook niet met lxc wat een showstopper is.

Vraag van een beginner, kvm onder ProxMox of een ander distro?

[powerboat]

Berkeley schreef op vrijdag 8 mei 2020 @ 17:07:
[...]


Wel ervaring met een hyperconverged cluster met Sas schijven. Grootste issue is eigenlijk memory management. Dus garanderen dat je OSDs genoeg memory hebben en niet verdrukt worden door je VM’s.

Als je er de resources voor hebt raad ik aan ceph en proxmox te scheiden. Dat werkt toch het beste.

Zou zelf graag nog een keer willen testen met ceph bijvoorbeeld in een VM te draaien en dan gewoon passthrough te doen van de disks bijvoorbeeld. Op die manier kan je wel de resources van je hyperconverged ceph cluster enigszins garanderen.

Hmm ... Inderdaad niet over nagedacht ook niet in onze testcluster . (3x ryzen 2600, 1Tb ssd en 64GB geheugen).

Ding was niet kapot te krijgen, even kijken of we dat ergens kunnen limiteren. Voor onze nieuwe productie omgeving.

[powerboat]

Puller schreef op vrijdag 8 mei 2020 @ 17:17:
[...]


Vraag van een beginner, kvm onder ProxMox of een ander distro?

Zou voor proxmox gaan, kvm volgens een bepaalde standaard ingericht met alle toeters en bellen.

Erg laagdrempelig.

[Berkeley]

powerboat schreef op vrijdag 8 mei 2020 @ 17:20:
[...]


Hmm ... Inderdaad niet over nagedacht ook niet in onze testcluster . (3x ryzen 2600, 1Tb ssd en 64GB geheugen).

Ding was niet kapot te krijgen, even kijken of we dat ergens kunnen limiteren. Voor onze nieuwe productie omgeving.

Zijn ook issues waar wij (helaas) achter af pas achter kwamen.. het is ook aan te raden om 2 aparte netwerken in te richten voor ceph, dus een frontend en backend netwerk.

[zx9r_mario]

Berkeley schreef op vrijdag 8 mei 2020 @ 17:07:
[...]
Als je er de resources voor hebt raad ik aan ceph en proxmox te scheiden. Dat werkt toch het beste.

Losse ceph, gewoon paar Proxmox bakken met ceph maar dan zonder VM's?

[powerboat]

Berkeley schreef op vrijdag 8 mei 2020 @ 17:41:
[...]


Zijn ook issues waar wij (helaas) achter af pas achter kwamen.. het is ook aan te raden om 2 aparte netwerken in te richten voor ceph, dus een frontend en backend netwerk.

Dat hebben we nu ook met onze shared storage, vind dat eigenlijk ook meer dan normaal.

Nog maar eens re-evalueren zodra we de hardware binnen hebben

[zx9r_mario]

powerboat schreef op vrijdag 8 mei 2020 @ 18:31:
[...]


Dat hebben we nu ook met onze shared storage, vind dat eigenlijk ook meer dan normaal.

Nog maar eens re-evalueren zodra we de hardware binnen hebben

De ceph bakken maken dan ook deel uit van het Proxmox cluster waar de VM's opzitten?

[Berkeley]

zx9r_mario schreef op vrijdag 8 mei 2020 @ 18:25:
[...]


Losse ceph, gewoon paar Proxmox bakken met ceph maar dan zonder VM's?

Compute nodes waar proxmox op staat die samen een cluster vormen, in ons geval zijn dat hp dl360s. En dan storage nodes waar gewoon debian op geïnstalleerd is met ceph wat dus het ceph cluster vormt. In ons geval hp dl380s.

En dan koppelen via de proxmox (k)RBD koppeling.

De storage(ceph) nodes zijn dus geen onderdeel van het proxmox cluster.

[powerboat]

zx9r_mario schreef op vrijdag 8 mei 2020 @ 18:34:
[...]


De ceph bakken maken dan ook deel uit van het Proxmox cluster waar de VM's opzitten?

Momenteel hebben we een 10Gbit backend waar storage en de compute nodes op zijn aangesloten. De frontend is benaderbaar via een apart netwerk.

[Berkeley]

powerboat schreef op vrijdag 8 mei 2020 @ 18:48:
[...]


Momenteel hebben we een 10Gbit backend waar storage en de compute nodes op zijn aangesloten. De frontend is benaderbaar via een apart netwerk.

Bedoel je dat niet net andersom? :-)

[powerboat]

Berkeley schreef op vrijdag 8 mei 2020 @ 18:54:
[...]


Bedoel je dat niet net andersom? :-)

hahaha ja , werk jij toevallig niet in Boekel ?

[Berkeley]

powerboat schreef op vrijdag 8 mei 2020 @ 19:13:
[...]


hahaha ja , werk jij toevallig niet in Boekel ?

Hehe, ietsjes meer richting de andere kant van het land. Groningen :-)

[powerboat]

Berkeley schreef op vrijdag 8 mei 2020 @ 19:28:
[...]

Hehe, ietsjes meer richting de andere kant van het land. Groningen :-)

Dat is inderdaad de ander kant van het land , Weet niet hoeveel bedrijven met Proxmox werken hier in Nederland, maar in Boekel zit een groot bedrijf dat van Proxmox gebruik maakt.

Overigens ben ik wel benieuwd naar de mensen in dit topic met die Proxmox professioneel gebruiken.

[mdbraber]

Proxmox VE6.2 is uit: https://forum.proxmox.com...ox-ve-6-2-released.69646/

Debian Buster (10.4) and a Linux Kernel 5.4
QEMU 5.0, LXC 4.0, and ZFS 0.8.3
Ceph Nautilus (14.2.9)
Create templates for containers on directory-based storage
Zstandard for Backup/Restore
New LDAP sync enables synchronization of LDAP users and groups
API tokens: Full support and integration
and a lot more...

[zx9r_mario]

powerboat schreef op vrijdag 8 mei 2020 @ 19:32:
[...]


Dat is inderdaad de ander kant van het land , Weet niet hoeveel bedrijven met Proxmox werken hier in Nederland, maar in Boekel zit een groot bedrijf dat van Proxmox gebruik maakt.

Overigens ben ik wel benieuwd naar de mensen in dit topic met die Proxmox professioneel gebruiken.

Ik gebruik Proxmox professioneel al sinds 2009.

[powerboat]

zx9r_mario schreef op dinsdag 12 mei 2020 @ 16:56:
[...]


Ik gebruik Proxmox professioneel al sinds 2009.

Ik ben met versie 1.x gaan stoeien toen ze nog deze lelijke interface hadden (LEEEELIJK)!
Werkte destijds bij een bedrijf met weinig tot geen geld en waar we elke euro moesten omdraaien.

[ Voor 3% gewijzigd door powerboat op 12-05-2020 17:45 . Reden: Aanpassing plaatje ]

[powerboat]

zx9r_mario schreef op dinsdag 12 mei 2020 @ 16:56:
[...]


Ik gebruik Proxmox professioneel al sinds 2009.

Hoe ben jij bij proxmox uitgekomen ?

[zx9r_mario]

powerboat schreef op dinsdag 12 mei 2020 @ 20:23:
[...]


Hoe ben jij bij proxmox uitgekomen ?

Voorheen werkte ik met GSX server (voorloper van ESX) en zocht een webbased interface wat KVM ondersteunde. Proxmox was destijds de enige fatsoenlijke en gebruikersvriendelijk distro. Tot op heden nog steeds een van de beste hypervisor distro's.

[powerboat]

zx9r_mario schreef op dinsdag 12 mei 2020 @ 21:22:
[...]


Voorheen werkte ik met GSX server (voorloper van ESX) en zocht een webbased interface wat KVM ondersteunde. Proxmox was destijds de enige fatsoenlijke en gebruikersvriendelijk distro. Tot op heden nog steeds een van de beste hypervisor distro's.

Hahaha die kennen we ook nog dat is lang geleden. Ik heb toen nog vmware server en versie 2 op baremetal ubuntu geinstalleerd. als el-cheapo esx/gsx alternatief .

Hyper-v en xen stonden toen ook nog in de kinderschoenen.

[CurlyMo]

Ik heb een VPS bij Contabo met Proxmox geïnstalleerd. Aangezien er maar één publiek ip adres is, moet ik werken met een reverse proxy.

Werkt allemaal als een trein.

Host netwerk:

code:

auto lo
iface lo inet loopback

auto ens18
iface ens18 inet dhcp

auto vmbr0
iface vmbr0 inet static
        address 10.0.0.254
        netmask 255.255.255.0
        broadcast 10.0.0.255

        bridge-ports none
        bridge-stp off
        bridge-fd 0

        post-up echo 1 > /proc/sys/net/ipv4/ip_forward

        post-up iptables -t nat -A POSTROUTING -o ens18 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -o ens18 -j MASQUERADE

        post-up iptables -t raw -I PREROUTING -i fwbr+ -j CT --zone 1
        post-down iptables -t raw -D PREROUTING -i fwbr+ -j CT --zone 1

        post-up iptables -t nat -I PREROUTING -i ens18 -p TCP -d xxx.xx.xx.xx/32 --dport 443 -j DNAT --to-destination 10.0.0.100:443
        post-up iptables -t nat -I PREROUTING -i ens18 -p TCP -d xxx.xx.xx.xx/32 --dport 80 -j DNAT --to-destination 10.0.0.100:80

Container netwerk:

code:

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet static
        address 10.0.0.100
        netmask 255.255.255.0
        gateway 10.0.0.254

Máár, ik kan de containers onderling wel pingen en bereiken, maar vanuit de container de host niet. Dus van binnen 10.0.0.100 kan ik 10.0.0.254 niet pingen.

Weet iemand hoe ik dat (met een firewall rule?) voor elkaar krijg?

---

Opgelost met deze firewall rule (in te stellen via de webgui):

code:

-A PVEFW-HOST-IN -s 10.0.0.0/24 -j RETURN

Dus eigenlijk niks anders dan een ACCEPT op inkomend verkeer voor iprange 10.0.0.0/24.

[ Voor 6% gewijzigd door CurlyMo op 24-05-2020 10:08 ]

[powerboat]

CurlyMo schreef op vrijdag 22 mei 2020 @ 20:48:
Ik heb een VPS bij Contabo met Proxmox geïnstalleerd. Aangezien er maar één publiek ip adres is, moet ik werken met een reverse proxy.

Werkt allemaal als een trein.

Host netwerk:

code:

auto lo
iface lo inet loopback

auto ens18
iface ens18 inet dhcp

auto vmbr0
iface vmbr0 inet static
        address 10.0.0.254
        netmask 255.255.255.0
        broadcast 10.0.0.255

        bridge-ports none
        bridge-stp off
        bridge-fd 0

        post-up echo 1 > /proc/sys/net/ipv4/ip_forward

        post-up iptables -t nat -A POSTROUTING -o ens18 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -o ens18 -j MASQUERADE

        post-up iptables -t raw -I PREROUTING -i fwbr+ -j CT --zone 1
        post-down iptables -t raw -D PREROUTING -i fwbr+ -j CT --zone 1

        post-up iptables -t nat -I PREROUTING -i ens18 -p TCP -d xxx.xx.xx.xx/32 --dport 443 -j DNAT --to-destination 10.0.0.100:443
        post-up iptables -t nat -I PREROUTING -i ens18 -p TCP -d xxx.xx.xx.xx/32 --dport 80 -j DNAT --to-destination 10.0.0.100:80

Container netwerk:

code:

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet static
        address 10.0.0.100
        netmask 255.255.255.0
        gateway 10.0.0.254

Máár, ik kan de containers onderling wel pingen en bereiken, maar vanuit de container de host niet. Dus van binnen 10.0.0.100 kan ik 10.0.0.254 niet pingen.

Weet iemand hoe ik dat (met een firewall rule?) voor elkaar krijg?

Dat is een goede vraag, durf ik je eigenlijk niet te zeggen.

Ik zou gebruik maken van een virtuele router/firewall en die het routeren voor je laten afhandelen.
Dan heb je de proxmox meteen achter een firewall staan.

Ik weet alleen niet hoe dat werkt bij een VPS.

[CurlyMo]

powerboat schreef op zaterdag 23 mei 2020 @ 09:06:
[...]


Dat is een goede vraag, durf ik je eigenlijk niet te zeggen.

Ik zou gebruik maken van een virtuele router/firewall en die het routeren voor je laten afhandelen.
Dan heb je de proxmox meteen achter een firewall staan.

Ik weet alleen niet hoe dat werkt bij een VPS.

Ik heb de oplossing gevonden. Antwoord heb ik opgenomen in mijn oorspronkelijke reactie.

[Daros]

powerboat schreef op vrijdag 8 mei 2020 @ 14:04:
[...]


Nee, dat klopt maar met kvm hoef ik geen downtime in te plannen. 0-)

Iemand ervaring met KVM + Ceph en SSD op een 3-node cluster ?

Ik, begonnen met een 3node cluster. Nu een 5 node cluster geworden.

Full ssd, bestaat uit een mix van 1tb en 4tb ssd’s ( niet aan te raden, tenzij het 50/50 is wat wij nu hebben)
16x 1tb 16x 4tb

[A1AD]

Ik ben aan het experimenteren met OpenWRT in een LXC. Super efficiënt en tot nu toe werkt alles heel stabiel. Ik draai een pfSense in KVM maar echt efficiënt is dat niet als al de rest LXC's zijn.

Ik kan het tot nu toe alleen maar aanraden, OpenWRT moet je dan zelf builden (https://github.com/mikma/lxd-openwrt) en daar kan je dan onmiddellijk zelf je packages aan toevoegen:

code:

./build.sh -a x86_64 -t plain -p "luci-ssl openvpn-openssl luci-app-openvpn mc nano curl ipset resolveip ip-full kmod-ipt-ipset iptables vpn-policy-routing luci-app-vpn-policy-routing luci-app-ddns luci-app-sqm luci-app-banip luci-app-wireguard luci-app-https-dns-proxy nmap tcpdump openssh-sftp-server haproxy"

Enigste "nadeel" is dat de sysupgrade niet werkt, maar dat heb ik eenvoudig kunnen oplossen door mijn build script dat op en Debian LXC staat zo aan te passen dat hij eerst al de config files gaat halen via SCP van de huidige live OpenWRT LXC en zo een versie build met de laatste wijzigingen. Eens de build ok, maak je hiermee dan en nieuwe LXC aan (1 commando), stop je de oude en start je de nieuwe.

edit: ok niet helemaal 1, want je hebt je lxc config nog nodig (/etc/pve/lxc/..)

Deze heb ik ook in de LXC config geplaatst, werd ergens aangeraden:

code:

lxc.include: /usr/share/lxc/config/openwrt.common.conf
lxc.include: /usr/share/lxc/config/common.conf
lxc.cap.drop: sys_admin
lxc.mount.entry: tmp tmp tmpfs rw,nodev,relatime,mode=1777 0 0

Ter ref: commando dat ik gebruik om een LXC te installeren op Proxmox:

code:

pct create 117 openwrt-19.07.3-x86-64-plain.tar.gz --ostype unmanaged --hostname OpenWRT-Main --arch amd64 --cores 4 --memory 256 --swap 0 --storage wdpool

Dit werkt allemaal mooi in een unprivileged container. Niet vergeten om de wireguard tools te installeren op de host wanneer je graag wireguard wil gebruiken.

code:

echo "deb http://deb.debian.org/debian/ unstable main" > /etc/apt/sources.list.d/unstable-wireguard.list
printf 'Package: *\nPin: release a=unstable\nPin-Priority: 90\n' > /etc/apt/preferences.d/limit-unstable
apt update
apt install wireguard pve-headers
modprobe wireguard

Dit zou ook en oplossing kunnen zijn wanneer je maar 1 WAN IP krijgt bij een hosted omgeving.

[ Voor 17% gewijzigd door A1AD op 24-05-2020 11:54 ]

[CurlyMo]

@A1AD kan je iets vertellen over je host netwerk?

[A1AD]

CurlyMo schreef op zondag 24 mei 2020 @ 14:33:
@A1AD kan je iets vertellen over je host netwerk?

Ik heb 2 lan kaartjes:
- vmbr0: LAN - verbonden met smartswitch en ik gebruik VLAN tags om het netwerk verder te kunnen verdelen (4 lan netwerkjes > vlan52,53,54,55 / DMZ > vlan 666 / Admin > vlan1 / Publiek > vlan50)
- vmbr1: WAN

Het OpenWRT netwerk (lxc config) ziet er dan zo uit:

code:

net0: name=eth1,bridge=vmbr0,hwaddr=5E:1A:B0:B9:F0:D5,ip=dhcp,ip6=dhcp,type=veth
net1: name=eth10,bridge=vmbr1,hwaddr=9A:2B:42:7D:6F:A2,ip=dhcp,ip6=dhcp,type=veth
net2: name=eth52,bridge=vmbr0,hwaddr=BE:1D:06:44:2B:DC,ip=dhcp,ip6=dhcp,tag=52,type=veth
net3: name=eth53,bridge=vmbr0,hwaddr=5A:E2:3E:B6:FC:E9,ip=dhcp,ip6=dhcp,tag=3,type=veth
net4: name=eth54,bridge=vmbr0,hwaddr=16:2A:7E:A7:C1:B0,ip=dhcp,ip6=dhcp,tag=4,type=veth
net5: name=eth55,bridge=vmbr0,hwaddr=1A:0D:70:EF:F9:03,ip=dhcp,ip6=dhcp,tag=55,type=veth
net6: name=eth666,bridge=vmbr0,hwaddr=A6:CE:60:3B:98:FF,ip=dhcp,ip6=dhcp,tag=666,type=veth
net7: name=eth50,bridge=vmbr0,hwaddr=76:81:FE:2A:61:1B,tag=50,type=veth

Edit: en in OpenWRT kan je dan eenvoudig je netwerk definiëren adhv de interface name:

code:

config interface 'lan'
    option type 'bridge'
    option ifname 'eth52'
    option proto 'static'
    option netmask '255.255.255.0'
    option delegate '0'
    option ipaddr '10.30.52.1'

[ Voor 11% gewijzigd door A1AD op 24-05-2020 15:36 ]

[CurlyMo]

Je OpenWRT is dan nu ook je hoofd router geworden?

[A1AD]

CurlyMo schreef op zondag 24 mei 2020 @ 18:19:
Je OpenWRT is dan nu ook je hoofd router geworden?

Nee, momenteel in parallel met pfSense. Maar het is wel mijn bedoeling om over te stappen.

[mdbraber]

Ik heb op Proxmox een aantal VMs (Qemu) die ik uiteindelijk wil gaan deployen in op mijn cloud/dedicated server. Ik natuurlijk makkelijk de images kopieren naar de desbetreffende host, maar is het ook mogelijk om bijv. de cloud/dedicated server aan mijn homeserver te koppelen als een node? Ze delen verder geen zaken of failover, maar voor dit soort dingen zou het mss wel interessant zijn. Iemand ervaring mee?

[CurlyMo]

mdbraber schreef op zondag 24 mei 2020 @ 20:35:
Ik heb op Proxmox een aantal VMs (Qemu) die ik uiteindelijk wil gaan deployen in op mijn cloud/dedicated server. Ik natuurlijk makkelijk de images kopieren naar de desbetreffende host, maar is het ook mogelijk om bijv. de cloud/dedicated server aan mijn homeserver te koppelen als een node? Ze delen verder geen zaken of failover, maar voor dit soort dingen zou het mss wel interessant zijn. Iemand ervaring mee?

Nee, gewoon de config en KVM opslag kopiëren.

[A1AD]

mdbraber schreef op zondag 24 mei 2020 @ 20:35:
Ik heb op Proxmox een aantal VMs (Qemu) die ik uiteindelijk wil gaan deployen in op mijn cloud/dedicated server. Ik natuurlijk makkelijk de images kopieren naar de desbetreffende host, maar is het ook mogelijk om bijv. de cloud/dedicated server aan mijn homeserver te koppelen als een node? Ze delen verder geen zaken of failover, maar voor dit soort dingen zou het mss wel interessant zijn. Iemand ervaring mee?

Gebruik gewoon SCP. Node koppeling is niet zomaar even iets dat je wil met zoveel afstand tussen.

[ocf81]

mdbraber schreef op zondag 24 mei 2020 @ 20:35:
Ik heb op Proxmox een aantal VMs (Qemu) die ik uiteindelijk wil gaan deployen in op mijn cloud/dedicated server. Ik natuurlijk makkelijk de images kopieren naar de desbetreffende host, maar is het ook mogelijk om bijv. de cloud/dedicated server aan mijn homeserver te koppelen als een node? Ze delen verder geen zaken of failover, maar voor dit soort dingen zou het mss wel interessant zijn. Iemand ervaring mee?

In theorie kan het, maar dan moet je wel je Corosync aanpassen om geen broadcast te gebruiken en er waren nog wat andere hoofdbrekens IIRC. Allemaal lastig en foutgevoelig. Ik zou gewoon het image en de KVM definitie overzetten en het daar bij laten.

[powerboat]

Volgens mij raden ze ook aan om eerst een backup te maken en die vervolgens te restoren.

Je zou dit makkelijk kunnen doen met nfs/iscsi.

[CurlyMo]

@powerboat ik zie dat niet voor me met iSCSI?

[ Voor 5% gewijzigd door CurlyMo op 25-05-2020 14:08 ]

[3raser]

Ik wil even mijn verbazing uiten over de prestaties van de verschillende schijfconfiguraties van mijn VM's. Ik maakte tot nu toe mijn Windows VM's aan met de standaard schijfconfiguratie, dus op IDE, met Cache = No Cache. Maar ik begrijp dat ik me iets beter in had moeten lezen en VirtIO had moeten gebruiken. Het verschil is zacht gezegd enorm!

IDE, zonder cache

code:

[Read]
Sequential 1MiB (Q=  8, T= 1):   819.020 MB/s [    781.1 IOPS] < 10227.44 us>
Sequential 1MiB (Q=  1, T= 1):   755.980 MB/s [    721.0 IOPS] <  1385.88 us>
    Random 4KiB (Q= 32, T=16):    26.939 MB/s [   6576.9 IOPS] < 76911.60 us>
    Random 4KiB (Q=  1, T= 1):    24.011 MB/s [   5862.1 IOPS] <   170.22 us>

[Write]
Sequential 1MiB (Q=  8, T= 1):   922.155 MB/s [    879.4 IOPS] <  9074.60 us>
Sequential 1MiB (Q=  1, T= 1):   906.569 MB/s [    864.6 IOPS] <  1155.49 us>
    Random 4KiB (Q= 32, T=16):    41.880 MB/s [  10224.6 IOPS] < 49644.09 us>
    Random 4KiB (Q=  1, T= 1):    37.544 MB/s [   9166.0 IOPS] <   108.71 us>

VirtIO, Write Back cache

code:

[Read]
Sequential 1MiB (Q=  8, T= 1): 12203.486 MB/s [  11638.2 IOPS] <   686.53 us>
Sequential 1MiB (Q=  1, T= 1):  7019.643 MB/s [   6694.5 IOPS] <   148.88 us>
    Random 4KiB (Q= 32, T=16):   710.149 MB/s [ 173376.2 IOPS] <  2930.55 us>
    Random 4KiB (Q=  1, T= 1):    86.707 MB/s [  21168.7 IOPS] <    46.96 us>

[Write]
Sequential 1MiB (Q=  8, T= 1):  9417.104 MB/s [   8980.9 IOPS] <   886.91 us>
Sequential 1MiB (Q=  1, T= 1):  4915.067 MB/s [   4687.4 IOPS] <   212.55 us>
    Random 4KiB (Q= 32, T=16):   411.379 MB/s [ 100434.3 IOPS] <  4940.44 us>
    Random 4KiB (Q=  1, T= 1):    86.313 MB/s [  21072.5 IOPS] <    47.20 us>

Het verschil is zo groot dat ik me afvraag of een standaard CrystalDisk benchmark wel een goed beeld geeft van de prestatie. Vooral de Write Back cache maakt het verschil zo groot. Als ik VirtIO zonder cache gebruik dan krijg ik ongeveer de snelheden die ik zou verwachten van mijn Samsung 970 EVO SSD.

Wie kan mij vertellen of deze prestaties echt representatief zijn voor normaal gebruik?
En kan ik mijn bestaande Windows VM met IDE configuratie ook omzetten naar VirtIO? Niet via de webinterface voor zover ik kan zien. Ik vraag me vooral af of Windows nog wel wil starten als je zomaar de bus wijzigt.

[Berkeley]

3raser schreef op dinsdag 26 mei 2020 @ 14:39:
Ik wil even mijn verbazing uiten over de prestaties van de verschillende schijfconfiguraties van mijn VM's. Ik maakte tot nu toe mijn Windows VM's aan met de standaard schijfconfiguratie, dus op IDE, met Cache = No Cache. Maar ik begrijp dat ik me iets beter in had moeten lezen en VirtIO had moeten gebruiken. Het verschil is zacht gezegd enorm!

IDE, zonder cache

code:

[Read]
Sequential 1MiB (Q=  8, T= 1):   819.020 MB/s [    781.1 IOPS] < 10227.44 us>
Sequential 1MiB (Q=  1, T= 1):   755.980 MB/s [    721.0 IOPS] <  1385.88 us>
    Random 4KiB (Q= 32, T=16):    26.939 MB/s [   6576.9 IOPS] < 76911.60 us>
    Random 4KiB (Q=  1, T= 1):    24.011 MB/s [   5862.1 IOPS] <   170.22 us>

[Write]
Sequential 1MiB (Q=  8, T= 1):   922.155 MB/s [    879.4 IOPS] <  9074.60 us>
Sequential 1MiB (Q=  1, T= 1):   906.569 MB/s [    864.6 IOPS] <  1155.49 us>
    Random 4KiB (Q= 32, T=16):    41.880 MB/s [  10224.6 IOPS] < 49644.09 us>
    Random 4KiB (Q=  1, T= 1):    37.544 MB/s [   9166.0 IOPS] <   108.71 us>

VirtIO, Write Back cache

code:

[Read]
Sequential 1MiB (Q=  8, T= 1): 12203.486 MB/s [  11638.2 IOPS] <   686.53 us>
Sequential 1MiB (Q=  1, T= 1):  7019.643 MB/s [   6694.5 IOPS] <   148.88 us>
    Random 4KiB (Q= 32, T=16):   710.149 MB/s [ 173376.2 IOPS] <  2930.55 us>
    Random 4KiB (Q=  1, T= 1):    86.707 MB/s [  21168.7 IOPS] <    46.96 us>

[Write]
Sequential 1MiB (Q=  8, T= 1):  9417.104 MB/s [   8980.9 IOPS] <   886.91 us>
Sequential 1MiB (Q=  1, T= 1):  4915.067 MB/s [   4687.4 IOPS] <   212.55 us>
    Random 4KiB (Q= 32, T=16):   411.379 MB/s [ 100434.3 IOPS] <  4940.44 us>
    Random 4KiB (Q=  1, T= 1):    86.313 MB/s [  21072.5 IOPS] <    47.20 us>

Het verschil is zo groot dat ik me afvraag of een standaard CrystalDisk benchmark wel een goed beeld geeft van de prestatie. Vooral de Write Back cache maakt het verschil zo groot. Als ik VirtIO zonder cache gebruik dan krijg ik ongeveer de snelheden die ik zou verwachten van mijn Samsung 970 EVO SSD.

Wie kan mij vertellen of deze prestaties echt representatief zijn voor normaal gebruik?
En kan ik mijn bestaande Windows VM met IDE configuratie ook omzetten naar VirtIO? Niet via de webinterface voor zover ik kan zien. Ik vraag me vooral af of Windows nog wel wil starten als je zomaar de bus wijzigt.

dit is wel vergelijkbaar met wat ik ervaren heb. Wij doen standaard ook overal writeback cache en dat maakt merkbaar veel verschil. Zowel in benchmarks alsin gebruik.

Letwel er zitten ook wat nadelen in en heeft niet voor alles effect.

[powerboat]

CurlyMo schreef op maandag 25 mei 2020 @ 14:07:
@powerboat ik zie dat niet voor me met iSCSI?

Nee zit wat in automatisme om nfs/iscsi aan te halen;)

[3raser]

Berkeley schreef op dinsdag 26 mei 2020 @ 14:50:
[...]


dit is wel vergelijkbaar met wat ik ervaren heb. Wij doen standaard ook overal writeback cache en dat maakt merkbaar veel verschil. Zowel in benchmarks alsin gebruik.

Letwel er zitten ook wat nadelen in en heeft niet voor alles effect.

Weet je toevallig ook of Writeback cache kan helpen met de performance van schijven die direct aan een VM zijn gekoppeld? Ik heb een VM die ik gebruik als NAS en daar zijn 2 schijven rechtstreeks aan gekoppeld. Via de web GUI van Proxmox kan ik voor die schijven ook de cache aanpassen. Is dat aan te raden? Mijn NAS draait OpenMediaVault en die regelt zelf misschien ook wel iets aan caching.

[Berkeley]

3raser schreef op woensdag 27 mei 2020 @ 11:06:
[...]

Weet je toevallig ook of Writeback cache kan helpen met de performance van schijven die direct aan een VM zijn gekoppeld? Ik heb een VM die ik gebruik als NAS en daar zijn 2 schijven rechtstreeks aan gekoppeld. Via de web GUI van Proxmox kan ik voor die schijven ook de cache aanpassen. Is dat aan te raden? Mijn NAS draait OpenMediaVault en die regelt zelf misschien ook wel iets aan caching.

Ook dan zou het moeten helpen. Maar je kan dit natuurlijk vrij eenvoudig even testen.

Zonder cache een benchmark doen op een volume op de NAS en daarna met cache een benchmark doen op een volume op de NAS.

[CurlyMo]

Vandaag toch nog een poging gedaan om mailcow in een unpriviliged container draaiende te krijgen en dat is me eindelijk gelukt. Tot nu toe draaide hij in een priviliged container, maar dat vond ik niet veilig genoeg. Unpriviliged was een vereiste voordat ik hem op mijn Contabo VPS met Proxmox zou gaan draaien naast al mijn andere domeinen.

[FireDrunk]

@CurlyMo LXC of Docker? Ziet er wel uit als een handige mailserver.

Minimum System Resources¶

Do not use OpenVZ or LXC as guests for mailcow.

[CurlyMo]

FireDrunk schreef op dinsdag 2 juni 2020 @ 14:08:
@CurlyMo LXC of Docker? Ziet er wel uit als een handige mailserver.


[...]

Mailcow in meerdere dockers in een unpriviliged LXC container

[FireDrunk]

Feitelijk draai je dus Docker wel onder root, maar unprivileged, dus kan Docker niet super veel op de host zelf?
Ik vraag me af hoe goed LXC is in het weghouden van Docker Containers bij je Host OS...

[CurlyMo]

FireDrunk schreef op dinsdag 2 juni 2020 @ 14:54:
Feitelijk draai je dus Docker wel onder root, maar unprivileged, dus kan Docker niet super veel op de host zelf?
Ik vraag me af hoe goed LXC is in het weghouden van Docker Containers bij je Host OS...

Als LXC unpriviliged is, dan kan Docker vrij weinig.

Enige wat ik aan heb gezet is:

code:

features: mknod=1,nesting=1

[FireDrunk]

Wat heb je als AppArmor profiel?

[CurlyMo]

FireDrunk schreef op dinsdag 2 juni 2020 @ 15:09:
Wat heb je als AppArmor profiel?

Nog even aan het testen.

[CurlyMo]

Ik krijg het alleen echt goed werkend als ik dit toevoeg:

code:

lxc.apparmor.profile: unconfined
lxc.cgroup.devices.allow: a
lxc.cap.drop:

Bij mknod=1,nesting=1 krijg ik geen foutmeldingen bij het starten van de docker instances, maar het werkt dan niet zoals het hoort.

[TweakerVincent]

Ik draai prox op mijn i7 nuc maar man wat blijven de fans draaien. Cpi load is 10% load. Ik las ergens dat dit aan prox ligt?

[ocf81]

TweakerVincent schreef op dinsdag 2 juni 2020 @ 15:54:
Ik draai prox op mijn i7 nuc maar man wat blijven de fans draaien. Cpi load is 10% load. Ik las ergens dat dit aan prox ligt?

Proxmox schakelt standaard een aantal energie besparende maatregelen uit. Als ik het goed heb onthouden gaat het voornamelijk om powerstates van cores en dat soort dingen. Als je die weer aan weet te zetten gaat je kloksnelheid ook weer omlaag en kan je dus met minder fan af.

[CurlyMo]

Kan iemand hier iets zeggen over de (on)veiligheid van een unpriviliged LXC container met een unconfined apparmor profiel? Is dat je voordeur vol met sloten hangen terwijl de achterdeur gewoon open staat? Hoe moet ik dat precies zien?

[FireDrunk]

Ha, als je cap drop leeg laat, hou je dus alle capabilities. AppArmor is vergelijkbaar met SELinux, dat voegt vooral beveiliging toe, maar maakt het geheel niet open.

Feitelijk draai je dus exact hetzelfde als Docker op de host. Effectief doet LXC niets.

[CurlyMo]

FireDrunk schreef op vrijdag 5 juni 2020 @ 08:34:
Ha, als je cap drop leeg laat, hou je dus alle capabilities. AppArmor is vergelijkbaar met SELinux, dat voegt vooral beveiliging toe, maar maakt het geheel niet open.

Feitelijk draai je dus exact hetzelfde als Docker op de host. Effectief doet LXC niets.

Ook het unpriviliged deel maakt het niks veiliger?

Wat is jouw inschatting van veiligheid van het geheel? Is docker op zichzelf voldoende contained?

[FireDrunk]

privileged vs unprivilegd is volgens mij toegang tot kernel space.
Tuurlijk helpt dat, maar het is niet zaligmakend.

Docker (of beter gezegd, containerd) heeft zich bewezen als een prima toolset. Het werkt onder andere met cgroups, die ook aan de basis van LXC container staan. De stack bovenop cgroups is verschillend.

Cgroups an sich zijn in mijn ogen goed tot zeer goed te vertrouwen. Zou ik er banking databases van meerdere klanten in naast elkaar op dezelfde systemen draaien? Nee dat niet.

Vertrouw ik er op dat een buffer overflow in de ene container, niet zomaar bij de andere container komt? Ja.

Ik zou me eerder druk maken over een compromised permiter dan over docker an sich. Als iemand in jouw app, op de 'commandline' van je container komt, zit hij dus ook in je netwerk (net als met alle andere technieken).

Je applicaties die in de container zit vertrouwen is dus bijna belangrijker dan Docker ansich vertrouwen.
Als je bang bent wat die containers doen in je netwerk, kan je beter kijken naar tools als Falco, die een container kunnen confinen in wat hij op netwerk niveau doet (malicous requests intern blokkeren, en je daar voor waarschuwen).

[CurlyMo]

FireDrunk schreef op vrijdag 5 juni 2020 @ 10:23:
Ik zou me eerder druk maken over een compromised permiter dan over docker an sich. Als iemand in jouw app, op de 'commandline' van je container komt, zit hij dus ook in je netwerk (net als met alle andere technieken).

Dat vind ik een acceptabel risico. Het geheel draait dan toch op een VPS in een eigen KVM.

Het gaat me er puur om dat een basis exploit in een van de applications zoals php of nginx niet direct zorgt voor root op de host. Dat is wat ik met unpriviliged wil bereiken.

Dat je toegang krijgt tot het interne netwerk is logisch, maar dat is dan niet anders.

[FireDrunk]

Dan voegt Docker -> LXC -> Host weinig tot niets toe t.o.v. Docker -> Host.

Persoonlijk denk ik eerder nadelen, aangezien je door 2 IP stacks heen gaat (LXC heeft ook een eigen netwerk stack).

[CurlyMo]

FireDrunk schreef op vrijdag 5 juni 2020 @ 10:31:
Dan voegt Docker -> LXC -> Host weinig tot niets toe t.o.v. Docker -> Host.

Persoonlijk denk ik eerder nadelen, aangezien je door 2 IP stacks heen gaat (LXC heeft ook een eigen netwerk stack).

Behalve dat ik de hele docker shit in een container zet en daarme makkelijker kan verplaatsen / weggooien.

[FireDrunk]

"De hele Docker shit" is precies 1 apt package?

Als er iets lekker klein is, is het Docker (geschreven in Go, dus vrijwel alleen maar static binaries):

thijs@nas:~$ sudo apt-cache depends docker-ce
docker-ce
  Depends: docker-ce-cli
  Depends: containerd.io
  Depends: iptables
  Depends: libseccomp2
  Depends: libc6
  Depends: libdevmapper1.02.1
  Depends: libsystemd0

[ Voor 79% gewijzigd door FireDrunk op 05-06-2020 10:36 ]

[CurlyMo]

FireDrunk schreef op vrijdag 5 juni 2020 @ 10:34:
"De hele Docker shit" is precies 1 apt package?

Ik vind het prettiger om de docker stack in een container te hebben zitten.

Mijn vraag bleef of ik docker voldoende kan vertrouwen naast al mijn unpriviliged containers. Dat een exploit in een van de docker appllicaties niet direct tot volledige root op de host betekent. Mits de dockers goed zijn ingericht natuurlijk. Antwoord daarop was gelukkig ja.

Dan durf ik het wel aan om mijn mail naar de VPS te verplaatsen.

[RobertMe]

FireDrunk schreef op vrijdag 5 juni 2020 @ 10:31:
Dan voegt Docker -> LXC -> Host weinig tot niets toe t.o.v. Docker -> Host.

Is het punt niet ook een beetje dat dit het Proxmox topic is? En gezien Proxmox een hypervisor is is het in die zin ook logisch om geen software er op te installeren* en alles in LXC of KVM te doen.

* Tenzij noodzakelijk. Bv een ZFS snapshot & replicate script is vrijwel niet te doen vanuit LXC of KVM dus dat heb ik op Proxmox zelf draaien.

Voordeel van Docker in LXC op Proxmox vindt ik trouwens ook dat netwerk segmentatie net iets makkelijker is. Met meerdere VLANs waarbij container set X in VLAN 1 moet en container set Y in VLAN 2 (bv UniFi Controller & PiHole in een "servers" VLAN en Home Assistant en daaraan gerelateerde zaken in een IoT VLAN) vind ik het met LXC een stuk makkelijker om zo'n heel blok in een "PC" te proppen met een IP adres. Voor mijn switch naar Proxmox had ik dit nog door elke Docker container via een MACVLAN netwerk te laten werken, maar elke container krijgt dan een eigen IP en dat beviel me nog veel minder. Volgens mij kun je ook in Docker zelf een bridge netwerk aanmaken die je aan een eigen bridge koppelt waarbij je ook zelf alle masquerading & port forwarding moet doen in IPTables, maar dat lijkt me nog een stuk complexer.

Lang verhaal kort: zelf draai ik Docker in LXC enerzijds omdat dat beter past binnen "Proxmox is een hypervisor en hoort geen software op te draaien" en anderzijds omdat het zo een stuk makkelijker is om een set Docker containers over een VLAN met hetzelfde IP te laten communiceren.

[FireDrunk]

Daar heb je wel een goed punt. Docker is niet perse vriendelijk in het kiezen van netwerk interfaces of VLAN's.
Jouw filosofie is ook prima. Er zijn zelfs use-cases dat Docker-in-Docker draaien nuttig is

Het verhaal dat Docker in LXC het geheel veiliger maakt zou ik niet als een goede reden willen bestempelen.
Jouw use-case daarentegen kan ik prima volgen, en klopt gewoon.

[A1AD]

CurlyMo schreef op woensdag 18 maart 2020 @ 14:13:
@A1AD

code:

# cat /etc/subuid:
root:5000:3
root:100000:65536

code:

# cat /etc/subgid:
root:5000:1
root:100000:65536

code:

# zfs list -o name
data/users
data/users/gebruiker1
data/users/gebruiker2

code:

# cat /etc/pve/lxc/107.conf
mp0: /data/users,mp=/data/users
mp1: /data/users/gebruiker1,mp=/data/users/gebruiker1
mp2: /data/users/gebruiker2,mp=/data/users/gebruiker2
[...]
unprivileged: 1
lxc.idmap: u 0 100000 5000
lxc.idmap: g 0 100000 5000
lxc.idmap: u 5000 5000 1
lxc.idmap: u 5001 5001 1
lxc.idmap: u 5002 5002 1
lxc.idmap: g 5000 5000 1
lxc.idmap: u 5003 105003 60533
lxc.idmap: g 5001 105001 60535

code:

# getfacl /data/users/gebruiker1
getfacl: Removing leading '/' from absolute path names
# file: data/users/gebruiker1
# owner: gebruiker1
# group: users
user::rwx
group::---
other::---
default:user::rwx
default:user:gebruiker1:rwx
default:group::---
default:group:users:rwx
default:mask::rwx
default:other::---

code:

# zfs get acltype data/users/gebruiker1
NAME                PROPERTY  VALUE     SOURCE
data/users/gebruiker1 acltype   posixacl  inherited from data/users

Binnen mijn LXC container:

code:

# grep gebruiker /etc/passwd
gebruiker1:x:5001:5000::/home/gebruiker1:/bin/sh
gebruiker2:x:5002:5000::/home/gebruiker2:/bin/sh
gebruiker3:x:5000:5000::/home/gebruiker3:/bin/sh

code:

# grep users /etc/group
users:x:5000:

code:

# ls -Aln /data/users/
total 35
drwx------+  6  5002  5000 11 Feb 28 14:15 gebruiker2
drwx--x--x  12 65534 65534 13 Mar 10 21:00 mail
drwx------+  7  5001  5000 16 Mar 16 09:41 gebruiker1
drwxr-xr-x   4 65534 65534  4 Oct  7 19:01 recycle
drwxrwx---+  7  5001  5000  7 Mar  7 11:01 shared
drwxr-xr-x   4 65534 65534  4 Jan 31 22:02 snapshots

Net eindelijk eens tijd gehad om dit te bekijken. Maar ik doe het nog steeds niet goed. De container start niet met als boodschap:

code:

2779 newuidmap failed to write mapping "newuidmap: uid range [2021-65537) -> [102021-165537) not allowed": newuidmap 22342 0 100000 2020 2020 2020 1 2021 102021 63516

Ik probeer user/group 2020 te mappen binnen de lxc;

In de lxc config:

code:

lxc.idmap: u 0 100000 2020
lxc.idmap: g 0 100000 2020
lxc.idmap: u 2020 2020 1
lxc.idmap: g 2020 2020 1
lxc.idmap: u 2021 102021 63516
lxc.idmap: g 2021 102021 63516

code:

cat /etc/subuid
root:2020:1
root:100000:65536

code:

cat /etc/subgid
root:2020:1
root:100000:65536

Wat doe ik nog fout?

[CurlyMo]

@A1AD Probeer eens de 63516 naar 63515 te zetten (65536 - 2021)

[A1AD]

CurlyMo schreef op zondag 21 juni 2020 @ 22:08:
@A1AD Probeer eens de 63516 naar 63515 te zetten (65536 - 2021)

Yes, dat is hem. Ik had - 2020 gedaan

[Koepert]

RobertMe schreef op vrijdag 5 juni 2020 @ 11:23:
[...]


Lang verhaal kort: zelf draai ik Docker in LXC enerzijds omdat dat beter past binnen "Proxmox is een hypervisor en hoort geen software op te draaien" en anderzijds omdat het zo een stuk makkelijker is om een set Docker containers over een VLAN met hetzelfde IP te laten communiceren.

Wat is het voordeel van LXC versus een VM? In mijn geval draai ik een aantal pakketten in Docker. Belangrijkste hierin:

- Jellyfin: Mediaserver om film/series af te spelen (Mounten van NAS binnen omgeving om data af te spelen)
- Firefly iii: Boekhoudpakket
- Sonarr: Downloads series

Die draaien nu op een Ubuntu Server (bare metal) in docker, maar ik ben een wat zwaarder machine aan t inzetten. Daar momenteel als test dus een VM op getuigd met Ubuntu Server met bovenstaande erin. Als LXC daarvoor echter sneller is, met dezelfde resultaten, zou het zonde zijn op een VM te blijven.

[CurlyMo]

@Koepert Veel minder geheugen en overige resources verbruik, daardoor ook zuiniger.

Vorige ESXi NAS ging eigenlijk niet met 16GB geheugen, met alles in Proxmox + LXC heb ik met 16GB nog geheugen over.

[ocf81]

Eerlijk gezegd vind ik het nogal tegenvallen hoeveel geheugenbesparing je kan realiseren met LXC. Misschien 200mb?

[CurlyMo]

ocf81 schreef op maandag 22 juni 2020 @ 17:20:
Eerlijk gezegd vind ik het nogal tegenvallen hoeveel geheugenbesparing je kan realiseren met LXC. Misschien 200mb?

Bij mij was het luttele GB's. Zoals ik zei. In ESXi kwam ik met 16GB tekort en had ik een swap van 2GB nodig. In Proxmox + LXC gebruik in met dezelfde setup ~ 12GB.

[ocf81]

Hmm, misschien ligt het ook aan de use case. Voor mijn gebruik wegen de beperkingen niet op tegen de voordelen. Voor jou kennelijk wel.

[Goof2000]

Sinds een half jaar daar ik Proxmox met een Linux en een Windows VM. (Linux Pi-Hole en Windows Homeseer en Blue Iris, ik wil Linux nog uitbreiden met een eigen VPN daarmee ben ik nog aan het uitproberen hoe ik dit draait krijg, ik gebruik geen Docker)

Nu heb ik pas geleden een SSD via USB toegevoegd voor de backups daarmee loopt het niet zo lekker.

Ik heb een 2TB SSD gemount via USB poort alleen in Proxmox zie ik niet de juiste grote.
lsblk geeft:

code:

sdc            8:32   0   1.8T  0 disk
└─sdc1         8:33   0   1.8T  0 part

Als ik bij Disks kijk dan staat daar ook bij /dev/sdc/ 1.82TB

Als ik Usage kijk, dan zie ik ineens een drop van 1.82TB naar 93.99 GiB wat heel 'toevallig' de grote is van een andere HDD die in mijn Proxmox zit.

Ik denk dat ik iets niet goed heb gedaan bij het mounten en het is ontstaan na een reboot.
Moet ik iets instellen dat deze schijf bij het opstarten automatisch gemount wordt? Ik denk dat het probleem daarin zit als ik op het Proxmox forum kijk, alleen kom ik echter niet verder dan kijken bij lsblk en mount.

Ik hoop dat het niet een teveel basic Linux vraag is.

[dcm360]

@Goof2000
2TB = 1.82TiB, dus de grootte die gerapporteerd wordt klopt. Het automatisch mounten kan je doen door de schijf te registreren in fstab (in dit geval maakt het niet echt uit dat de handleiding op de wiki van een andere distributie staat).

[Goof2000]

@dcm360 Bedankt.
Het probleem was dat hij maar 93,99 GIB van de 1.8TB zag.
Met:

code:

mount /dev/sdc1 /media/usb-drive

zag ik weer de 1.8TB

Ik begrijp dus dat ik /etc/fstab moet aanpassen om te zorgen dat het na de volgende reboot weer automatisch wordt gemount.

Mijn gegevens:
/dev/sdc1:
LABEL="Samsung2TB"
UUID="bd5a987f-8368-468e-af43-578b81269502"
TYPE="ext4"
PARTLABEL="primary"
PARTUUID="1e7a6523-d81c-4fdf-affa-8d4c28c03345"
Dat wil ik mounten naar: /media/usb-drive/

Als ik het goed begrijp zou ik dan de volgende regel moeten toevoegen aan /etc/fstab:

code:

UUID=bd5a987f-8368-468e-af43-578b81269502 /media/usb-drive/ ext4 defaults 0 0

[ Voor 1% gewijzigd door Goof2000 op 27-06-2020 22:32 . Reden: code tag aanpassen van <code> naar [code] ]

[CurlyMo]

Goof2000 schreef op zaterdag 27 juni 2020 @ 22:31:
Ik begrijp dus dat ik /etc/fstab moet aanpassen om te zorgen dat het na de volgende reboot weer automatisch wordt gemount.

Dit zijn echt standaard Linux vragen die je volop kan vinden op internet. Zelfs redelijk onafhankelijk van de smaak (Debian e.d., Red Hat e.d., *BSD e.d.)

[Koepert]

Ik vraag me af of dit een Mint of Proxmox vraag is.. maar ik heb n VM met Linux Mint 20 gestart, die is via console (noVNC) alleen als kleiner scherm benaderbaar. Bij Virtualbox zou ik de Guest Additions installeren, maar hoe werkt dit in Proxmox? Is daar de Graphics setting leading ( in dit geval VMWARE Compatible, net als Ubuntu Server vm (headless)) of moet je in de VM dan nog iets toevoegen? Ik las iets over de Spicevdagent maar dat helpt niets, dat lijkt me ook meer iets voor het gebruik van Spice als console?

[Foxdelta-mods]

Sinds vorig jaar december ook gestart met Proxmox en heb een aantal weken volledig alles omgegooid (afgestapt van FreeNAS). Tot op heden zeer tevreden en een leuk leerproces. Ik ben echter wel zeer benieuwd naar wat jullie zo allemaal in een LXC draaien.

Ik heb op dit moment:
PiHole
Teamspeak
UnifiController
Heimdall
HomeAssistant
TurnKey FileServer
Tranmission

Er zijn nog plannen om Sonarr en Radarr toe te voegen echter nog niet aan toegekomen.

[A1AD]

Pihole
Bookstack
Download server
Samba server
Icinga2
Backupserver (borg)
Domoticaserver (node red en eigen scripts)
Nextcloud
Grafana
Plex
Jellyfin
Zoneminder
OpenWRT
Webserver
DBserver
Dockerhost (test)
Jitsiserver

Alles in LXC met ZFS gebindmount en beheerd door de proxmox host.

[ Voor 9% gewijzigd door A1AD op 16-07-2020 12:47 ]

[Miki]

Nadat een waardevolle tip heb gekregen in dit topic: nero355 in "Het grote welk OS (bijvoorbeeld linux distro) topic deel 8"

Wil ik mij binnenkort ook wagen aan mijn eerste proxmox avontuur. Ik wil eea gaan installeren op een Deskmini H310, i3-8100, 16Gb ram en 250Gb ssd.

Nu heb ik nog een Samsung EVO 840 250Gb ssd in de kast liggen. Een oudje dat wel, maar nog weinig wear and tear op te merken. Wat zal Ik met deze schijf doen? Kan ik deze als Raid 1 gebruiken of kan ik deze beter inzitten voor opslag voor bijvoorbeeld een file servertje? Redundantie van de file server is overigens niet belangrijk aangezien ik alle belangrijke data in iCloud heb hangen.

[CurlyMo]

Miki schreef op maandag 13 juli 2020 @ 11:53:
Wat zal Ik met deze schijf doen?

Wat is hier de Proxmox specifiek vraag?

[A1AD]

Miki schreef op maandag 13 juli 2020 @ 11:53:
Nadat een waardevolle tip heb gekregen in dit topic: nero355 in "Het grote welk OS (bijvoorbeeld linux distro) topic deel 8"

Wil ik mij binnenkort ook wagen aan mijn eerste proxmox avontuur. Ik wil eea gaan installeren op een Deskmini H310, i3-8100, 16Gb ram en 250Gb ssd.

Nu heb ik nog een Samsung EVO 840 250Gb ssd in de kast liggen. Een oudje dat wel, maar nog weinig wear and tear op te merken. Wat zal Ik met deze schijf doen? Kan ik deze als Raid 1 gebruiken of kan ik deze beter inzitten voor opslag voor bijvoorbeeld een file servertje? Redundantie van de file server is overigens niet belangrijk aangezien ik alle belangrijke data in iCloud heb hangen.

Mij voorkeur: beide als rpool in mirror. Die kan je dan ook gebruiken voor LXCs of VMs.

[Miki]

CurlyMo schreef op maandag 13 juli 2020 @ 13:45:
[...]

Wat is hier de Proxmox specifiek vraag?

Is het bijvoorbeeld aan te raden om bij de installatie de tweede schijf mee te installeren en te kiezen voor raid 1

Ps. Je hoeft ook niet te reageren als je de vraagstelling niet bevalt. Het valt me erg op dat je vrij bitserig reageert op ook andere posts van mij. Heb ik je wat misdaan?

A1AD schreef op maandag 13 juli 2020 @ 14:54:
[...]


Mij voorkeur: beide als rpool in mirror. Die kan je dan ook gebruiken voor LXCs of VMs.

Thanks, hier kan ik wat mee

[ Voor 21% gewijzigd door Miki op 13-07-2020 15:05 ]

[zx9r_mario]

Proxmox heeft een beta van hun Backup Server uitgebracht https://forum.proxmox.com...backup-server-beta.72677/

[CurlyMo]

Ps. Je hoeft ook niet te reageren als je de vraagstelling niet bevalt. Het valt me erg op dat je vrij bitserig reageert op ook andere posts van mij. Heb ik je wat misdaan?

Ik weet niet welke reactie je bedoeld.

Je bent totaal niet helder in wat je doel nu precies is. Wat wil je nu zelf bereiken? Wil een redundant OS? Wil je je HDD's uit spindown houden? Wil je caches voor snelle overdracht enz. Als je dat soort vragen stelt dan krijg je ook het antwoord wat je zoekt. Het enige echt concrete wat je zegt is dat je een SSD over hebt. Je zou hem ook als bierviltje kunnen gebruiken

Miki schreef op maandag 13 juli 2020 @ 14:55:
[...]
Is het bijvoorbeeld aan te raden om bij de installatie de tweede schijf mee te installeren en te kiezen voor raid 1

De keuze om je OS op een mirror te zetten gaat op voor alle OS en is niet specifiek proxmox. Daarom mijn vraag wat nu proxmox specifiek is, omdat je hier je vraag stelt. Mocht je vraag gaan over iets wat niet proxmox specifiek is, dan krijg je waarschijnlijk betere antwoorden in een ander topic.

Miki schreef op maandag 13 juli 2020 @ 11:53:
Redundantie van de file server is overigens niet belangrijk aangezien ik alle belangrijke data in iCloud heb hangen.

A1AD schreef op maandag 13 juli 2020 @ 14:54:
Mij voorkeur: beide als rpool in mirror. Die kan je dan ook gebruiken voor LXCs of VMs.

Miki schreef op maandag 13 juli 2020 @ 14:55:
Thanks, hier kan ik wat mee

Je bent zelf een mooi voorbeeld van wat ik bedoel. Je zegt zelf dat redundantie niet belangrijk is. Vervolgens krijg je een tip om iets redundants te doen en dan is dat opeens wel wat je wil? Dat sluit dan toch totaal niet op elkaar aan?

Je vraag nu opnieuw naar een oplossing waarvan niet duidelijk is of dat ook aansluit bij het doel. De manier van je vraagstelling sluit erg aan op wat het xy-probleem heet. Zoek dat eens op en kijk of je je erin herkent

[unezra]

zx9r_mario schreef op maandag 13 juli 2020 @ 15:01:
Proxmox heeft een beta van hun Backup Server uitgebracht https://forum.proxmox.com...backup-server-beta.72677/

*oeh*
Ik had verwacht dat ze iets met ZFS replicatie gingen doen, maar dit klinkt ook wel serieus leuk.
Misschien toch maar eens naar kijken.

[powerboat]

unezra schreef op maandag 13 juli 2020 @ 19:21:
[...]


*oeh*
Ik had verwacht dat ze iets met ZFS replicatie gingen doen, maar dit klinkt ook wel serieus leuk.
Misschien toch maar eens naar kijken.

Klinkt idd interessant, momenteel gebruik ik nu freenas i.c.m. urbackup in een jail die ik vervolgens met block replicatie en snapshots naar een offsite locatie repliceer.

Hopelijk integreert dit nog iets mooier

[A1AD]

zx9r_mario schreef op maandag 13 juli 2020 @ 15:01:
Proxmox heeft een beta van hun Backup Server uitgebracht https://forum.proxmox.com...backup-server-beta.72677/

Nieuw speelgoed

Nuja, ik doe alles met zfs send and receive.

[ Voor 8% gewijzigd door A1AD op 13-07-2020 21:52 ]

[unezra]

powerboat schreef op maandag 13 juli 2020 @ 21:39:
[...]
Klinkt idd interessant, momenteel gebruik ik nu freenas i.c.m. urbackup in een jail die ik vervolgens met block replicatie en snapshots naar een offsite locatie repliceer.

Hopelijk integreert dit nog iets mooier

Ik repliceer gewoon mijn hele PVE machine naar een colo.

https://github.com/jimsalterjrs/sanoid

[FireDrunk]

unezra schreef op dinsdag 14 juli 2020 @ 07:19:
[...]


Ik repliceer gewoon mijn hele PVE machine naar een colo.

https://github.com/jimsalterjrs/sanoid

Net ook in gebruik genomen, best makkelijk! Wel jammer dat er geen publieke repo voor Debian is, en je het package zelf moet maken, maar ach, niet zo'n ramp.

Kreeg wel ineens 30 telegram berichtjes omdat er 30 snapshots gemaakt werden

[A1AD]

unezra schreef op dinsdag 14 juli 2020 @ 07:19:
[...]


Ik repliceer gewoon mijn hele PVE machine naar een colo.

https://github.com/jimsalterjrs/sanoid

Same, werkt echt super goed.

[maxxie85]

unezra schreef op dinsdag 14 juli 2020 @ 07:19:
[...]


Ik repliceer gewoon mijn hele PVE machine naar een colo.

https://github.com/jimsalterjrs/sanoid

Oh dit ziet er interessant uit. Ik ken dit nog niet.
Ik maak nu elke nacht een backup, maar is dit dan een extra / andere manier van snapshots/backups te maken?

[unezra]

maxxie85 schreef op woensdag 15 juli 2020 @ 07:58:
[...]
Oh dit ziet er interessant uit. Ik ken dit nog niet.
Ik maak nu elke nacht een backup, maar is dit dan een extra / andere manier van snapshots/backups te maken?

Ik gebruik het vooralsnog als enige manier. Het is officieel geen onderdeel van PVE, werkt echt low-evel op ZFS niveau. Voor wat ik doe, vind ik dat het handigste. Ook omdat de sync op block-level is. De delta's die ik verzend zijn heel erg klein. Hooguit een paar MB tenzij ik veel veranderd heb.

[MvL]

Heeft iemand een link naar hoe ik Sabnzbd in LXC installeer? Welke image gebruiken jullie hiervoor? Ubuntu 20.4?

https://sabnzbd.org/wiki/installation/install-unix

Ik vond dit al. Hebben jullie dit als basis gebruikt?

[A1AD]

MvL schreef op donderdag 16 juli 2020 @ 12:41:
Heeft iemand een link naar hoe ik Sabnzbd in LXC installeer? Welke image gebruiken jullie hiervoor? Ubuntu 20.4?

https://sabnzbd.org/wiki/installation/install-unix

Ik vond dit al. Hebben jullie dit als basis gebruikt?

Dit heeft weinig met proxmox te maken.
SAB zit in de standaard Debian Contrib repo trouwens.

[michielRB]

zx9r_mario schreef op maandag 13 juli 2020 @ 15:01:
Proxmox heeft een beta van hun Backup Server uitgebracht https://forum.proxmox.com...backup-server-beta.72677/

Dit is serieus leuk spul! Er zijn nog wat rauwe randjes, maar het kan een serieuze counter voor Veeam worden in het proxmox ecosysteem.
Hier een hands on demo:

[ Voor 11% gewijzigd door michielRB op 17-07-2020 11:32 ]