Het grote Proxmox VE topic

[bmaster001]

Ik ben (zoals velen) aan het bekijken om over te stappen op proxmox. Mijn huidige setup is een ubuntu machine met daarin:
- een mengeling aan schijven, die gecombineerd worden met mergerfs (en snapraid). Hierop staat alle data (media, foto's, ...)
- een ssd met het OS
Met daarop:
- een handvol docker containers
- twee VM's (kvm)

Waar ik aan loop te denken:
- op die ene ssd zou ik proxmox kunnen zetten
- ik heb nog 2 lege ssd's die ik met zfs zou mirroren en daarop zou ik dan containers en vm's kunnen plaatsen
- de mergerfs-pool zou ik houden zoals hij is en via bindmounts doorgeven aan containers die hem nodig hebben

Vragen/bedenkingen die ik heb:
- Op de host zelf zou ik liefst niets draaien behalve proxmox zelf. Dus docker liefst niet op de host zelf, maar in een lxc container? Of in aparte vm?
- Backups: momenteel backup ik alles met restic naar backblaze. Dit zou ik liefst zo houden, of toch iets gelijkaardigs. Voor de zekerheid stop ik nu eerst de docker containers, kopieer de app-data naar een map in de mergerfs pool, start de containers terug, en dan kan restic die kopie naar backblaze backuppen. Hoe zouden jullie dit doen in de proxmox omgeving? Restic op de host zelf draaien, of in een aparte container? En moeten de docker containers eigenlijk eerst gestopt worden, of kan ik die kopie maken terwijl ze draaien? Hangt vermoedelijk af van wat erop draait... één ding is een mariadb, en die zomaar kopieren terwijl die online is lijkt me niet echt aan te raden... ?

Sorry voor het wanordelijke hoopje vragen, hopelijk is er iemand die hier wat ervaring mee heeft! Ik wil gerust zelf dingen uitproberen, graag zelfs, maar aangezien de rest van het gezin wat afhangt van wat er op dit systeem draait (plex...) heb ik dat toch graag terug draaiend zonder weken te moeten experimenteren :-)

[RobertMe]

bmaster001 schreef op zondag 16 mei 2021 @ 17:31:
- Op de host zelf zou ik liefst niets draaien behalve proxmox zelf. Dus docker liefst niet op de host zelf, maar in een lxc container? Of in aparte vm?

Ja Beide kan. Docker in LXC met de LXC container op ZFS moet je wel via een workaround doen. Anders ziet Docker dat die op ZFS draait en wil die de ZFS storage driver gebruiken. Work-a-round is een zvol aanmaken, die formateren met ext4, en dan mounten naar /var/lib/docker in de container. Daarnaast hier en daar nog wat vinkjes zetten voor nesting en unprivileged

- Backups: momenteel backup ik alles met restic naar backblaze. Dit zou ik liefst zo houden, of toch iets gelijkaardigs. Voor de zekerheid stop ik nu eerst de docker containers, kopieer de app-data naar een map in de mergerfs pool, start de containers terug, en dan kan restic die kopie naar backblaze backuppen. Hoe zouden jullie dit doen in de proxmox omgeving? Restic op de host zelf draaien, of in een aparte container? En moeten de docker containers eigenlijk eerst gestopt worden, of kan ik die kopie maken terwijl ze draaien? Hangt vermoedelijk af van wat erop draait... één ding is een mariadb, en die zomaar kopieren terwijl die online is lijkt me niet echt aan te raden... ?

Backups maken moet je via de tools die daarvoor zijn! Never nooit een database (MariaDB) backuppen door de bestanden te kopiëren. Gewoon netjes een SQL dump maken van de draaiende DB en die kun je dan backuppen. Zeker bij een database als MariaDB is de kans nogal groot dat de bestanden afhankelijk zijn van het OS/de omgeving waar ze op draaien. Je hebt dus kans dat je nu een verzameling bestanden hebt die verder onbruikbaar zijn.
Hoe te backuppen is dus afhankelijk van wat je wilt backuppen. Als het een systeem is dat alles in text files opslaat kun je die waarschijnlijk sowieso heen en weer kopiëren zonder problemen. Gaat het dus om een database zoals MariaDB dan een backup maken via de backup tools van het ding zelf en nooit zomaar bestanden gaan kopiëren.

[bmaster001]

RobertMe schreef op zondag 16 mei 2021 @ 17:57:
[...]

Ja Beide kan. Docker in LXC met de LXC container op ZFS moet je wel via een workaround doen. Anders ziet Docker dat die op ZFS draait en wil die de ZFS storage driver gebruiken. Work-a-round is een zvol aanmaken, die formateren met ext4, en dan mounten naar /var/lib/docker in de container. Daarnaast hier en daar nog wat vinkjes zetten voor nesting en unprivileged

Dat zal ik dan zeker eens uitproberen als het zover is! Misschien kom ik er nog op terug als ik meer vragen heb hierover

Backups maken moet je via de tools die daarvoor zijn! Never nooit een database (MariaDB) backuppen door de bestanden te kopiëren. Gewoon netjes een SQL dump maken van de draaiende DB en die kun je dan backuppen. Zeker bij een database als MariaDB is de kans nogal groot dat de bestanden afhankelijk zijn van het OS/de omgeving waar ze op draaien. Je hebt dus kans dat je nu een verzameling bestanden hebt die verder onbruikbaar zijn.
Hoe te backuppen is dus afhankelijk van wat je wilt backuppen. Als het een systeem is dat alles in text files opslaat kun je die waarschijnlijk sowieso heen en weer kopiëren zonder problemen. Gaat het dus om een database zoals MariaDB dan een backup maken via de backup tools van het ding zelf en nooit zomaar bestanden gaan kopiëren.

In de database zit momenteel enkel de database van spotweb. Geen erg als die kwijt moest zijn dus. De andere containers zijn dingen als medusa en sabnzbd (de klassiekers dus ). Die zijn volgens mij allemaal perfect gewoon kopieerbaar. Dus ik denk dat ik enkel de DB moet dumpen, en al de rest kan ik dan via de kopieer-manier doen.

Eigenlijk kan ik beginnen door op proxmox over te stappen, en in het begin docker op de host zelf te draaien. Op die manier zal alles vrijwel direct weer draaien, en kan ik daarna wat beginnen experimenteren met LXC en zfs enzo, want dat zijn toch allemaal nieuwe zaken voor mij!

[rachez]

Momenteel bezig om een proxmox centos template te maken dmv packer en mijn vm's met terraform uit te rollen. De uitrol dmv terraform werkt al, iemand al een werkende packer configuratie?

Anders post ik de mijne wel als hij werkt (indien interesse).

[ Voor 4% gewijzigd door rachez op 16-05-2021 20:22 ]

[_Eend_]

Ik heb geen ervaring met Packer, sterker nog: ik kende het niet eens. Ik ben begonnen met Ansible, en dit ziet er uit alsof het een perfecte aanvulling is op Ansible icm. PVE. Ik had al een VM template gemaakt in PVE,, maar het nadeel daarvan is dat je dan een linked clone hebt (tenzij ik iets compleet verkeerd begrijp)

[iGadget]

Mocht er iemand ooit tegenaan lopen dat een via de web GUI toegevoegde disk niet meer te verwijderen lijkt (als in, hij staat niet meer in het cluster, niet in /etc/fstab en niet in /etc/pve/storage.conf maar komt toch iedere keer terug bij het opstarten): de schijf staat dan waarschijnlijk in systemd. Kennelijk is dat hoe Proxmox de boel opslaat bij schijven als je via de web GUI werkt (hierover staat op dit moment nog niets in de Proxmox admin manual!).

Check /etc/systemd/system/multi-user.target.wants/ of je daar een bestand in kan vinden die de disk omschrijft. Bij mij was dit
/etc/systemd/system/multi-user.target.wants/mnt-pve-static_data.mount.
Deze verwijder je als volgt:

root@node2:~# systemctl disable mnt-pve-static_data.mount

Hiermee wordt de disk niet langer gemount bij het opstarten. Om 'm ook binnen de huidige sessie te unmounten via systemd:

root@node2:~# systemctl stop mnt-pve-static_data.mount

[ Voor 2% gewijzigd door iGadget op 18-05-2021 17:36 . Reden: layout ]

[iGadget]

Over niet-meer-te-verwijderen-dingen gesproken - weet iemand hoe je replication jobs verwijdert van/naar nodes die niet meer in het cluster zitten?
Via node -> VM -> Replication -> job -> Remove blijven deze jobs kennelijk voor eeuwig in Status 'Removal Scheduled' staan omdat de node niet langer deel uit maakt van het cluster... en dus niet meer bereikbaar is

[EDIT] - Oplossing gevonden. SSH naar de node waar de niet-verwijderbare replication job(s) op staan en check voor de status:

root@node2:/etc/pve# pvesr status
JobID      Enabled    Target                           LastSync             NextSync   Duration  FailCount State
101-0      Yes        local/node1           2021-05-17_21:05:00  2021-05-17_23:05:00   7.480559          0 OK
101-1      No         local/node3          2021-05-02_23:40:00              pending    2.30849          1 command '/usr/bin/ssh -e none -o 'BatchMode=yes' -o 'HostKeyAlias=node3' root@10.0.0.3 -- pvesr prepare-local-job 101-1 --scan local-zfs --last_sync 1 --force' failed: exit code 255
101-2      Yes        local/node4          2021-05-16_21:00:00  2021-05-23_21:00:00   38.13677          0 OK

JobID 101-1 is de problematische. 'Gewoon' verwijderen (zoals de web GUI kennelijk ook doet) gaat niet:

root@node2:/etc/pve# pvesr delete 101-1
Replication job removal is a background task and will take some time.

Dus forceren we 'm:

root@node2:/etc/pve# pvesr delete 101-1 -force

Aaaaaand it's gone:

root@node2:/etc/pve# pvesr status
JobID      Enabled    Target                           LastSync             NextSync   Duration  FailCount State
101-0      Yes        local/node1           2021-05-17_21:05:00  2021-05-17_23:05:00   7.480559          0 OK
101-2      Yes        local/node3          2021-05-16_21:00:00  2021-05-23_21:00:00   38.13677          0 OK

Win!

[ Voor 67% gewijzigd door iGadget op 18-05-2021 17:37 . Reden: oplossing gevonden! ]

[Zenix]

_Eend_ schreef op maandag 17 mei 2021 @ 07:40:
Ik heb geen ervaring met Packer, sterker nog: ik kende het niet eens. Ik ben begonnen met Ansible, en dit ziet er uit alsof het een perfecte aanvulling is op Ansible icm. PVE. Ik had al een VM template gemaakt in PVE,, maar het nadeel daarvan is dat je dan een linked clone hebt (tenzij ik iets compleet verkeerd begrijp)

Je kan ook gewoon bij het aanmaken aangegeven dat het een full clone moet zijn, dan is die niet linked.

[iGadget]

Nog meer leuke "gotcha's" in PVE - een apart Corosync netwerk instellen *nadat* je het cluster al hebt aangemaakt. De admin manual brengt je een heel eind op weg, totdat je de nieuwe configuratie 'live' wil gaan zetten. Heel sneaky staat er dan

The changes will be applied live, so restarting corosync is not strictly necessary. If you changed other settings as well, or notice corosync complaining, you can optionally trigger a restart.

.
Nou.... laat dat "optionally" maar gerust weg hoor:

root@node2:/etc/pve# systemctl status corosync
● corosync.service - Corosync Cluster Engine
   Loaded: loaded (/lib/systemd/system/corosync.service; enabled; vendor preset: enabled)
   Active: active (running) since Mon 2021-05-17 13:06:34 CEST; 7h ago
     Docs: man:corosync
           man:corosync.conf
           man:corosync_overview
 Main PID: 1535 (corosync)
    Tasks: 9 (limit: 4915)
   Memory: 151.6M
   CGroup: /system.slice/corosync.service
           └─1535 /usr/sbin/corosync -f

mei 17 13:23:43 node2 corosync[1535]:   [QUORUM] Sync members[3]: 1 2 4
mei 17 13:23:43 node2 corosync[1535]:   [QUORUM] Sync joined[1]: 1
mei 17 13:23:43 node2 corosync[1535]:   [TOTEM ] A new membership (1.1294) was formed. Members joined: 1
mei 17 13:23:43 node2 corosync[1535]:   [QUORUM] Members[3]: 1 2 4
mei 17 13:23:43 node2 corosync[1535]:   [MAIN  ] Completed service synchronization, ready to provide service.
mei 17 20:42:25 node2 corosync[1535]:   [CFG   ] Config reload requested by node 2
mei 17 20:42:25 node2 corosync[1535]:   [TOTEM ] new config has different address for link 0 (addr changed from 10.0.0.3 to 192.168.0.3).
mei 17 20:42:25 node2 corosync[1535]:   [TOTEM ] new config has different address for link 0 (addr changed from 10.0.0.2 to 192.168.0.2). 
mei 17 20:42:25 node2 corosync[1535]:   [TOTEM ] new config has different address for link 0 (addr changed from 10.0.0.1 to 192.168.0.1). 
mei 17 20:42:25 node2 corosync[1535]:   [CFG   ] Cannot configure new interface definitions: To reconfigure an interface it must be deleted 

Als redelijke leek schrok ik eerst behoorlijk van die 'To reconfigure an interface it must be deleted' melding. Kreeg al helemaal spookbeelden in m'n hoofd dat Corosync wellicht alleen maar ongebruikte interfaces kan gebruiken en ik stond al op het punt om m'n hele netwerk config om te gaan gooien, tot ik me bedacht dat 'must be deleted' wellicht corosync / systemd-speak is voor 'we moeten even opnieuw opstarten'. En ja hoor.

root@node2:/etc/pve# systemctl restart corosync.service 
root@node2:/etc/pve# systemctl status corosync
● corosync.service - Corosync Cluster Engine
   Loaded: loaded (/lib/systemd/system/corosync.service; enabled; vendor preset: enabled)
   Active: active (running) since Mon 2021-05-17 21:09:20 CEST; 5s ago
     Docs: man:corosync
           man:corosync.conf
           man:corosync_overview
 Main PID: 31738 (corosync)
    Tasks: 9 (limit: 4915)
   Memory: 142.9M
   CGroup: /system.slice/corosync.service
           └─31738 /usr/sbin/corosync -f

mei 17 21:09:20 node2 systemd[1]: Started Corosync Cluster Engine.
mei 17 21:09:20 node2 corosync[31738]:   [KNET  ] host: host: 1 (passive) best link: 0 (pri: 1)
mei 17 21:09:20 node2 corosync[31738]:   [KNET  ] host: host: 1 has no active links
mei 17 21:09:20 node2 corosync[31738]:   [KNET  ] host: host: 1 (passive) best link: 0 (pri: 1)
mei 17 21:09:20 node2 corosync[31738]:   [QUORUM] Sync members[1]: 2
mei 17 21:09:20 node2 corosync[31738]:   [QUORUM] Sync joined[1]: 2
mei 17 21:09:20 node2 corosync[31738]:   [TOTEM ] A new membership (2.1299) was formed. Members joined: 2
mei 17 21:09:20 node2 corosync[31738]:   [KNET  ] host: host: 1 has no active links
mei 17 21:09:20 node2 corosync[31738]:   [QUORUM] Members[1]: 2
mei 17 21:09:20 node2 corosync[31738]:   [MAIN  ] Completed service synchronization, ready to provide service.

Pfew!
Oftewel - na zo'n operatie moet je echt op elke node even een

systemctl restart corosync

doen. Daarna werkt het prima

[ Voor 0% gewijzigd door iGadget op 18-05-2021 17:35 . Reden: layout ]

[Polderviking]

Ik heb opeens op 2 nodes in mijn cluster die rare smart meldingen naar me mailen waar ik weinig over kan vinden, het zijn allebij Dell PE 620's.
De een is ongeveer een maand geleden begonnen met mailen en de tweede vanochtend, nadat ik dit weekend updates geïnstalleerd heb.

Krijg mailtjes waar dan dit in staat:

Device: /dev/bus/0 [megaraid_disk_00], SMART Failure: WARNING: ascq=0x4

Exact dezelfde melding (en dezelfde schijf 0) op beide servers.

Google is bijzonder oninformatief over deze code.
0x04 is een smart code voor de start/stop count. Maar die waarde staat voor al mijn disks op 9 of 10 dus dat kan het onmogelijk zijn. (m.i.)

Wat me het meest stoort is dat er geen consensus is over die schijf. Als ik inlog op de iDRAC omgeving van de servers in kwestie zijn al mijn disks OK. Dus ik weet ook niet of m'n probleem weg is als ik daadwerkelijk die schijven zou vervangen. En ik weet ook dat smartstatussen uitlezen in Linux niet altijd even soepel gaat als er geen directe disk toegang is.

[ Voor 34% gewijzigd door Polderviking op 18-05-2021 01:50 ]

[dcm360]

Op zich zou het verkrijgen van de SMART-waarden niet heel erg ingewikkeld moeten zijn. Met het volgende commando kan je zien welke disks er aan de controller zitten:

storcli64 /c0 /eall /sall show

Vervolgens kan je het juiste smartctl-commando in elkaar zetten:

smartctl -a -d megaraid,<DID>  /dev/sd<X>

<DID> moet je invullen met de juiste waarde voor een schijf vanuit het eerdere commando, en <X> moet wijzen naar een schijf of array aan de controller (hoeft in mijn ervaring niet de juiste schijf te zijn, als die maar wel aan dezelfde controller zit). Het SMART-topic is misschien wel de betere plaats om het over de resultaten daarvan te hebben.

[Polderviking]

Dat megaraid commando was me idd helder, maar ik wordt niet echt wijzer van de output. Daar staat bij health status van de disk in kwestie gewoon dezelfde melding.

Ik wist niet van het bestaan van het smart topic, daar duik ik even in!

[nero355]

dcm360 schreef op dinsdag 18 mei 2021 @ 11:18:
Op zich zou het verkrijgen van de SMART-waarden niet heel erg ingewikkeld moeten zijn. Met het volgende commando kan je zien welke disks er aan de controller zitten:

storcli64 /c0 /eall /sall show

Vervolgens kan je het juiste smartctl-commando in elkaar zetten:

smartctl -a -d megaraid,<DID>  /dev/sd<X>

<DID> moet je invullen met de juiste waarde voor een schijf vanuit het eerdere commando, en <X> moet wijzen naar een schijf of array aan de controller (hoeft in mijn ervaring niet de juiste schijf te zijn, als die maar wel aan dezelfde controller zit). Het SMART-topic is misschien wel de betere plaats om het over de resultaten daarvan te hebben.

Kleine toevoeging aan bovenstaande :

Dat smartctl commando wordt eigenlijk afgeraden bij een live draaiend systeem, vooral als het een belangrijk systeem betreft!

Ik kwam daar pas achter nadat ik het veel te vaak had toegepast op vele verschillende Dell/HP/Lenovo/IBM systemen waar het gelukkig elke keer geen bijwerkingen had...

[dcm360]

nero355 schreef op dinsdag 18 mei 2021 @ 17:04:
[...]

Kleine toevoeging aan bovenstaande :

Dat smartctl commando wordt eigenlijk afgeraden bij een live draaiend systeem, vooral als het een belangrijk systeem betreft!

Ik kwam daar pas achter nadat ik het veel te vaak had toegepast op vele verschillende Dell/HP/Lenovo/IBM systemen waar het gelukkig elke keer geen bijwerkingen had...

Oh, daar was ik niet van op de hoogte. Welke bijwerkingen kan het veroorzaken, en is er misschien ook een aanbevolen alternatief?

[nero355]

dcm360 schreef op dinsdag 18 mei 2021 @ 17:07:
Oh, daar was ik niet van op de hoogte. Welke bijwerkingen kan het veroorzaken

Mja, te lang geleden om me dat nog te herinneren, maar het ging over het feit dat je commando's verstuurt langs een systeem dat met andere dingen bezig is geloof ik...

en is er misschien ook een aanbevolen alternatief?

Live CD booten en dan daarmee hetzelfde doen, want dan doet het daadwerkelijke systeem geen operaties op het geheel

[iGadget]

Voor wie ooit het primaire IP van een cluster node wil aanpassen, let op het volgende, want dit staat (nog?) niet in de Admin Guide :
1. Zorg voor een werkende backup verbinding voor het geval er iets fout mocht gaan
2. Pas het IP op de node aan in /etc/network/interfaces (of via de web GUI)
3. Zelfde voor /etc/hosts op de node
4. Idem voor /etc/pve/priv/known_hosts (deze wordt als het goed is vanzelf gesynced naar de rest van de nodes)
5. Vergeet ook je local DNS niet, mocht 'ie daar in staan
6. Mocht je je Corosync verkeer nog niet gescheiden hebben van je reguliere verkeer, pas dan ook /etc/pve/corosync.conf aan, maar lees eerst goed het hoofdstuk hierover in de Admin Guide hoe je dit veilig doet!
7. Reboot de node
Hierna moet het werken.

[dcm360]

nero355 schreef op dinsdag 18 mei 2021 @ 17:13:
[...]

Mja, te lang geleden om me dat nog te herinneren, maar het ging over het feit dat je commando's verstuurt langs een systeem dat met andere dingen bezig is geloof ik...


[...]

Live CD booten en dan daarmee hetzelfde doen, want dan doet het daadwerkelijke systeem geen operaties op het geheel

Een productiesysteem rebooten naar een Live CD om een SMART-controle uit te voeren klinkt niet bepaald ideaal. Op deze manier begrijp ik ook wel waarom de trend naar software managed arrays doorzet, want periodieke heath checks op onderdelen in een productiesysteem is gewoon een must have.

[iGadget]

Zijn er 'best practices' voor het opzetten van een fileserver via Proxmox?
Ik had al begrepen dat de ingebouwde functionaliteit hiervoor vooral (uitsluitend?) bedoeld is voor gebruik binnen Proxmox zelf (VM's, ISO's, templates, backups) en niet voor het delen van bijvoorbeeld multimedia-bestanden op je LAN.
Om dit erin te 'hacken' wordt ook afgeraden omdat, mocht de NFS/SMB/FTP/uw-favoriete-protocol-hier server op de hypervisor vastlopen (of gehackt worden!), deze je hele node of zelfs je cluster kan meetrekken.

All fine. Maar hoe moet het dan wèl? Ik kan hier niets over vinden in de Proxmox manuals en ook het support forum heeft vooral veel onbeantwoorde draadjes hierover. Dus ik zoek mijn heil even hier
Praktisch voorbeeld - ik heb hier een Logitech Media Server (a.k.a. Squeezebox) instance draaien in een LXC container. Deze haalt de audiobestanden op dit moment via een NFS share (welke op hypervisor niveau is toegevoegd en beschikbaar is gesteld als Mount Point aan de container) vanaf mijn stokoude QNAP, die ik wil uitfaseren.
In mijn beide primaire nodes zit een 250GB consumer-grade SSD op dit moment uit zijn neus te vreten (OS+VM's staan op 480GB server-grade SSD). Deze consumer-grade SSD lijkt mij uitermate geschikt voor 'statische' data zoals audio. Mijn hele CD-collectie is op dit moment een dikke 100GB, dus dat past prima.
Hoe configureer ik de boel nu op zo'n manier dat:
1. ik mijn CD-collectie nog steeds kan aanpassen / aanvullen op één plek
2. de LMS container nog steeds makkelijk te migraten is naar een andere node
3. de Audio data-share automagisch mee migreert met de LMS container
4. deze Audio data-share ook nog te gebruiken is door andere apps, bijv. Plex?

Ik ben een aantal mogelijke scenario's in gedachten:

Scenario 1 - disk image op consumer-SSD, koppelen aan LMS container
Net zoals ik bij Nextcloud heb gedaan, een losse disk image maken welke ik direct koppel aan de LMS container. Voordeel is dat zeker weet dat dit met migraties goed gaat, dus punt 2 en 3 zijn gedekt. Met de ingebouwde replication functies van Proxmox heb ik meteen ook meerdere kopiën van de data.
Echter voor punt 1 (en 4?) zal ik dan een file-sharing methode moeten maken op de LMS container zelf.
a) Kan dit?
b) Zo ja, welke methode zou dan aan te raden zijn? NFS, SSH(FS) of iets anders? SMB vind ik persoonlijk minder fijn omdat dit niet goed werkt met sommige speciale tekens in de bestandsnamen. En daar zit mijn CD collectie best vol mee ben ik achter gekomen...
c) Wat voor filesystem zou ik hier het beste voor kunnen gebruiken? ZFS is voor de hand liggend, maar ik ben als de dood dat dit de schijf dan binnen no-time sloopt (want consumer). Of zou dat in dit geval wel meevallen omdat er alleen 'static' data op komt te staan? Mocht mijn vrees terecht zijn - welk filesystem dan? BTRFS, EXT4 of iets anders?

Scenario 2 - losse VM/container voor storage, koppelen aan LMS container
Volgens de filosofie van het zoveel mogelijk scheiden van taken, kan ik ook een losse VM/container optuigen die het sharen van de storage op zich neemt. In dat geval zijn de vragen:
a) Is dit inderdaad te prefereren boven scenario 1 of maak ik het hiermee nodeloos ingewikkeld?
b) Als dit inderdaad de betere optie is, moet dit dan een VM worden of een container?
c) En verder gelden hier ook de vragen b) en c) van scenario 1.

Natuurlijk kan ik naast bovenstaande scenario's ook voor een nieuwe 'central storage' oplossing gaan die dan een 1-op-1 vervanger wordt van de QNAP. En daar ben ik ook mee bezig. MAAR deze machine wil ik eigenlijk alleen aanzetten als het nodig is. En als vriendin-lief of de kids even snel een muziekje willen opzetten, wordt dit wel een gedoe.
Dus vandaar dat ik dacht aan het inzetten van de consumer-grade SSD's, die zitten in machines die wèl altijd aan staan.

Wellicht zijn er nog scenario's denkbaar die nog veel beter passen?

Advies meer dan welkom

[CurlyMo]

@iGadget Ik vind het een lang verhaal, dus ik heb het niet helemaal gelezen. Je vraag is echter wel concreet. Gewoon een LXC container met samba. Je data bind mount je in je LXC container vanuit je host. Als je die LXC container ook nog unpriviliged maakt dan heb je nog een aanvullende beveiligingslaag.

Volgens mij is dat Scenario 2. Wat is overigens LMS?

[iGadget]

@CurlyMo dank voor je reactie. Samba heeft juist niet mijn voorkeur omdat, zoals ik al aangaf, dit problemen geeft met bepaalde tekens in bestandsnamen. En mijn CD-collectie zit daar vol mee ben ik achter gekomen.
LXC containers draai ik alleen maar unprivileged, als een app hier moeite mee heeft gaat 'ie naar een VM. Security first
Maar dan is dus wel de vraag of NFS überhaupt kan, ik vermoed dat dit niet samen gaat met een unprivileged container? SSH(FS) dan wellicht?

Bijkomende vraag is dan nog welk fileystem in te zetten voor die consumer SSD's? EXT4? BTRFS? Of maakt ZFS in dit geval (static data) niet zoveel uit?

LMS staat voor Logitech Media Server en is in de volksmond beter bekend als Squeezebox Server. Prachtig spul, vergelijkbaar met Sonos. Maar dan niet zo belachelijk duur. Helaas is Logitech ermee gestopt, maar de boel is gelukkig open source gemaakt dus de ontwikkeling gaat nog altijd (zij het in slakkentempo) door.

[ Voor 8% gewijzigd door iGadget op 18-05-2021 21:32 ]

[krijn1985]

Ik heb een NFS server in LXC draaien (dus met bind mounts in mijn LXC container de data beschikbaar maken). Al is deze container volgens mij wel priviliged. En dan mount ik de NFS shares in een VM indien nodig.

[CurlyMo]

iGadget schreef op dinsdag 18 mei 2021 @ 21:27:
@CurlyMo dank voor je reactie. Samba heeft juist niet mijn voorkeur omdat, zoals ik al aangaf, dit problemen geeft met bepaalde tekens in bestandsnamen. En mijn CD-collectie zit daar vol mee ben ik achter gekomen.

Hier geen last van.

LXC containers draai ik alleen maar unprivileged, als een app hier moeite mee heeft gaat 'ie naar een VM. Security first

Daar win je niks mee, want ook die moet via een NFS of Samba de data benaderen..

Maar dan is dus wel de vraag of NFS überhaupt kan, ik vermoed dat dit niet samen gaat met een unprivileged container? SSH(FS) dan wellicht?

NFS server en LXC zijn geen beste vrienden.

Bijkomende vraag is dan nog welk fileystem in te zetten voor die consumer SSD's? EXT4? BTRFS? Of maakt ZFS in dit geval (static data) niet zoveel uit?

ZFS is prima.

krijn1985 schreef op dinsdag 18 mei 2021 @ 22:18:
Ik heb een NFS server in LXC draaien (dus met bind mounts in mijn LXC container de data beschikbaar maken). Al is deze container volgens mij wel priviliged. En dan mount ik de NFS shares in een VM indien nodig.

Hoe, want ik heb dit nooit draaiende gekregen?

[krijn1985]

CurlyMo schreef op dinsdag 18 mei 2021 @ 22:32:


[...]

Hoe, want ik heb dit nooit draaiende gekregen?

Ik heb een LXC container op basis van een arch linux template al 3,5 jaar draaien. Deze heeft de volgende settings in VMID.conf

code:

arch: amd64
cores: 1
hostname: file-server
memory: 512
mp0: /storage/media,mp=/mnt/media
net0: name=eth0,bridge=vmbr0,hwaddr=xx:xx:xx:xx:xx:xx,ip=dhcp,ip6=dhcp,type=veth
onboot: 1
ostype: archlinux
rootfs: local-lvm:vm-106-disk-1,size=8G
startup: order=1,up=15
swap: 1024
lxc.apparmor.profile: unconfined

Deze is dus priviliged en een unconfined lxc.apparmor.profile (ik weet dat hier mogelijke security risks zijn).

Nu ben ik recentelijk weer wat gaan testen om LXC's op basis van Alpine templates te maken met behulp van Ansible. Hierbij in ieder geval een LXC die opstart met NFS, ik heb hem alleen nog niet in productie genomen, maar zover ik weet werkt die wel. Zie hieronder de de config

code:

arch: amd64
cores: 1
cpulimit: 1
cpuunits: 1000
features: nesting=1
hostname: alp-nfs
memory: 256
mp0: /storage/media,mp=/mnt/media/
net0: name=eth0,bridge=vmbr0,gw=192.168.1.1,hwaddr=xx:xx:xx:xx:xx:xx,ip=192.168.1.201/24,type=veth
onboot: 1
ostype: alpine
rootfs: vmstorage:subvol-201-disk-0,size=1G
startup: order=3
swap: 256
lxc.cap.drop: 
lxc.cap.drop: mac_admin mac_override sys_time sys_module sys_rawio
lxc.cap.drop: audit_write
lxc.cap.drop: ipc_owner
lxc.cap.drop: mknod
lxc.cap.drop: sys_nice
lxc.cap.drop: sys_pacct
lxc.cap.drop: sys_ptrace
lxc.cap.drop: sys_rawio
lxc.cap.drop: sys_resource
lxc.cap.drop: sys_tty_config
lxc.cap.drop: syslog
lxc.cap.drop: wake_alarm

Weer een priviliged container, maar misschien zou het met bovenstaande instellingen ook wel unpriviliged kunnen werken. De toegevoegde lx.cap.drop heb ik uit deze bron: https://unix.stackexchang...erver-on-alpine-linux-lxc

Ik weet dat de containers misschien niet volledig dichtgetimmerd zijn, maar ze worden alleen lokaal aangeboden en het is een risico dat ik accepteer.Hopelijk kan je hiermee iets verder komen en mocht je nog vragen hebben, laat maar weten.

Voordeel van Alpine containers is dat deze bijvoorbeeld maar 55MB inneemt en zonder actief gebruik maar 3MB aan geheugen.

[iGadget]

CurlyMo schreef op dinsdag 18 mei 2021 @ 22:32:
Hier geen last van.

Gokje - je werkt met Windows op je desktop / laptop? Daarmee is het onmogelijk om bestandsnamen te gebruiken die niet compatible zijn met Samba (logisch ook, gezien de roots). Hier is alles Linux dus dan heb je meer mogelijkheden (en meer kans op uitwisselingsproblemen als de andere kant die extra mogelijkheden niet ondersteunt).

Daar win je niks mee, want ook die moet via een NFS of Samba de data benaderen..

Het ging om de NFS *server* toch? De client laat ik gewoon via Proxmox lopen via een Mount Point, doe ik nu ook al. Is dat een risico? Of snap ik je nu helemaal verkeerd?

NFS server en LXC zijn geen beste vrienden.

Juistem. Vandaar dat ik SSH(FS) noemde. Zijn er redenen om dit niet te willen?

ZFS is prima.

Fijn, dat maakt snapshots ook weer makkelijker. Dus ik hoef me geen zorgen te maken over de wearout?

[dcm360]

ZFS heeft uit zichzelf niet een hogere wearout dan een ander bestandssysteem, op wat uitzonderingen na (log/cache drives). Proxmox veroorzaakt wel veel writes, maar zal dat net zo goed doen op EXT4.

SSHFS (of eigenlijk SFTP) zou kunnen werken, maar is in mijn ervaring wel een 'zwaar' protocol, het vereist nogal wat rekenkracht (Samba zou ik echter ook niet als lichtgewicht beschouwen). Het grootste nadeel is dat veel apparaten niet overweg kunnen met SFTP.

[iGadget]

dcm360 schreef op woensdag 19 mei 2021 @ 12:02:
ZFS heeft uit zichzelf niet een hogere wearout dan een ander bestandssysteem, op wat uitzonderingen na (log/cache drives). Proxmox veroorzaakt wel veel writes, maar zal dat net zo goed doen op EXT4.

Voor de systeemschijf kan ik me dat idd voorstellen, met alle logs, corosync etc. etc. Maar in dit geval komt er dus alleen static (audio) data op te staan. Zal Proxmox dan nog steeds helemaal los gaan op die schijf en zo ja, waarmee dan?

SSHFS (of eigenlijk SFTP) zou kunnen werken, maar is in mijn ervaring wel een 'zwaar' protocol, het vereist nogal wat rekenkracht (Samba zou ik echter ook niet als lichtgewicht beschouwen). Het grootste nadeel is dat veel apparaten niet overweg kunnen met SFTP.

Bij gebrek aan NFS denk ik dat ik het gewoon maar ga proberen. Het gaat hier puur om communicatie tussen containers / VM's (en mijn desktop / laptop) en die bieden allemaal SFTP ondersteuning.

[dcm360]

iGadget schreef op woensdag 19 mei 2021 @ 12:08:
[...]

Voor de systeemschijf kan ik me dat idd voorstellen, met alle logs, corosync etc. etc. Maar in dit geval komt er dus alleen static (audio) data op te staan. Zal Proxmox dan nog steeds helemaal los gaan op die schijf en zo ja, waarmee dan?

Proxmox schrijft alleen veel naar de systeemschijf, andere schijven worden met rust gelaten. De schijven van de pools waar Proxmox niet zelf wat mee hoeft te doen blijven bij mij ook netjes in standby voor het grootste deel van de tijd.

[krijn1985]

iGadget schreef op woensdag 19 mei 2021 @ 12:08:

[...]

Bij gebrek aan NFS denk ik dat ik het gewoon maar ga proberen. Het gaat hier puur om communicatie tussen containers / VM's (en mijn desktop / laptop) en die bieden allemaal SFTP ondersteuning.

Ik zou het gewoon proberen of je NFS werkend krijgt voor jouw situatie, bij mij werkt het namelijk voor mijn doeleinden prima (3,5 jaar).

Ik heb een Proxmox bak, waarin op een ssd proxmox + vms etc staan, en een 3 disk raid-z1 zfs pool waarvan ik dus datasets via bind mounts in LXC container via NFS weer deel naar een aantal VM's. Sommige zfs datasets zijn dus in meedere LXC's beschikbaar via bind mounts en ik heb er tot nu toe nog geen problemen mee gehad.
Mijn daily desktop is een VM op deze bak met GPU via passthrough en toetsenbord en muis doorgegeven en ik merk er (bijna) nooit wat van dat ik in een VM werk. In deze VM zijn mijn media en persoonlijke bestanden datasets dus gemount via NFS. Ik heb heel af en toe gehad dat om een of andere reden mijn beeld niet meer terug kwam of mijn VM gecrasht leek en 1 keer een update van Proxmox waarbij opeens een virtuele videokaart was toegevoegd, waardoor ik dus helemaal geen beeld meer kreeg op mijn scherm omdat X blijkbaar de verkeerde output koos.

[iGadget]

@krijn1985 dat is wel echt hardcore Op die manier zou ik mijn werkstation ook nog in kunnen zetten als extra Proxmox node... Tenminste, ik neem aan dat je scherm en toetsenbord/muis wel rechtstreeks aan die machine gekoppeld zijn?

Wat betreft NFS, ik ga er zeker naar kijken. Mocht het niet lukken dan kan ik altijd nog terugvallen op SSHFS.

Voor nu eerst maar even zorgen dat ik de schijven goed ingesteld krijg... Daarmee moet ik eerst nog de hobbel nemen van het ongedaan maken van eerder gepruts - had de schijf ooit toevoegd via node -> Disks -> Directory. Je krijgt dan alleen de optie om te formateren als EXT4 of XFS, ik koos EXT4. Nu wil ik dat ongedaan maken... Maar *HOE* in vredesnaam?
- Eerst verwijderd op Datacenter niveau. Resultaat: staat nog steeds in node -> Disks -> Directory.
- Op diezelfde plek kun je ook verder niets verwijderen, alleen toevoegen.
- De admin guide rept over /etc/pve/storage.conf, maar daar staan alleen cluster-wide mounts in, géén local mounts.
- De guide rept ook nog over /etc/fstab, maar die is leeg, op /proc na.
- Via systemd dan, zoals eerder ontdekt: check /etc/systemd/system/mult-user-target.wants/

root@node2:/etc/systemd/system/multi-user.target.wants# ls |grep mount
mnt-pve-static_data.mount

Bingo. Wegwezen met dat ding:

root@node2:/etc/systemd/system/multi-user.target.wants# systemctl disable mnt-pve-static_data.mount
root@node2:/etc/systemd/system/multi-user.target.wants# systemctl stop mnt-pve-static_data.mount

Ok, nu nog even de partitie verwijderen met cfdisk, en we zijn klaar... Toch?
Nope - nog altijd staat die @#$F!!partitie keurig in de web GUI. Hmmmm...
- Rebootje dan maar? Nope. Staat er nog steeds... WTF?! WAAR dan....
- Gezocht naar de string 'static_data' in alle bestanden in /etc/. 1 resultaat: /etc/systemd/system/mnt-pve-static_data.mount
Deze is niet actief als ik systemctl mag geloven:

root@node2:/etc/systemd/system/# systemctl |grep static_data.mount
root@node2:/etc/systemd/system/#

- Gezocht naar de string 'static_data' in alle bestanden in /var/ : alleen wat resultaten in logs, verder niks.
- Gezocht naar de string 'static_data' in alle bestanden in /usr/ : alleen wat resultaten in binaries en libraries. Dat kan het ook niet zijn.
... Schiet mij maar lek. En zo te zien hebben meer gebruikers hier last van, maar nergens zie ik de oplossing.

Is dit een bug of zie ik iets vreselijk over het hoofd?

[_Eend_]

Ik heb ook wel eens aan een zelfde setup als die van @krijn1985 zitten denken, maar om mijn desktop 24/7 aan te laten staan gaat ook wel een dure hobby worden. Mijn huidige PVE bakkie doet 10-20 watt idle. Mijn desktop 100(?). En ik wil nog wel eens een spelletje starten

[nero355]

iGadget schreef op dinsdag 18 mei 2021 @ 20:40:
Ik heb hier een Logitech Media Server (a.k.a. Squeezebox) instance draaien in een LXC container. Deze haalt de audiobestanden op dit moment via een NFS share (welke op hypervisor niveau is toegevoegd en beschikbaar is gesteld als Mount Point aan de container) vanaf mijn stokoude QNAP, die ik wil uitfaseren.
In mijn beide primaire nodes zit een 250GB consumer-grade SSD op dit moment uit zijn neus te vreten (OS+VM's staan op 480GB server-grade SSD). Deze consumer-grade SSD lijkt mij uitermate geschikt voor 'statische' data zoals audio. Mijn hele CD-collectie is op dit moment een dikke 100GB, dus dat past prima.
Hoe configureer ik de boel nu op zo'n manier dat:
1. ik mijn CD-collectie nog steeds kan aanpassen / aanvullen op één plek
2. de LMS container nog steeds makkelijk te migraten is naar een andere node
3. de Audio data-share automagisch mee migreert met de LMS container
4. deze Audio data-share ook nog te gebruiken is door andere apps, bijv. Plex?

SMB vind ik persoonlijk minder fijn omdat dit niet goed werkt met sommige speciale tekens in de bestandsnamen. En daar zit mijn CD collectie best vol mee ben ik achter gekomen...

En als vriendin-lief of de kids even snel een muziekje willen opzetten, wordt dit wel een gedoe.

Gezien dat laatste : Waarom zou je dat überhaupt i.c.m. Proxmox willen combineren

IMHO kan je beter zoiets doen :
- https://www.pimusicbox.com/ draaien op een Raspberry Pi.
- Een Atom based Intel NUC pakken en daarmee hetzelfde opzetten door gebruik te maken van dezelfde componenten : MPD/Mopidy, de webGUI waarvan ik effe de naam kwijt ben, allerlei DLNA/Multicast plug-ins die erin zitten, en daarnaast zijn er ook nog 100% adware vrije en volledig gratis apps beschikbaar waarmee je MPD/Mopidy kan besturen naast reguliere applicaties zoals Cantata onder Linux

Maar als je toch al de Squeezebox software gebruikt dan kan je misschien ook zoiets daarmee doen...

Verder ben ik erg benieuwd naar dat bestandsnamen gedoe :

iGadget schreef op dinsdag 18 mei 2021 @ 21:27:
Samba heeft juist niet mijn voorkeur omdat, zoals ik al aangaf, dit problemen geeft met bepaalde tekens in bestandsnamen. En mijn CD-collectie zit daar vol mee ben ik achter gekomen.

iGadget schreef op woensdag 19 mei 2021 @ 11:24:
Gokje - je werkt met Windows op je desktop / laptop? Daarmee is het onmogelijk om bestandsnamen te gebruiken die niet compatible zijn met Samba (logisch ook, gezien de roots). Hier is alles Linux dus dan heb je meer mogelijkheden (en meer kans op uitwisselingsproblemen als de andere kant die extra mogelijkheden niet ondersteunt).

Wat voor namen/tekens zijn dat dan

[iGadget]

nero355 schreef op woensdag 19 mei 2021 @ 16:15:
Gezien dat laatste : Waarom zou je dat überhaupt i.c.m. Proxmox willen combineren

Omdat ik Proxmox al heb draaien en de LMS container ook. Werkt prima. Wil liever naar minder machines met meer flexibiliteit dan naar meer machines met minder flexibiliteit.

IMHO kan je beter zoiets doen :
[...]
Maar als je toch al de Squeezebox software gebruikt dan kan je misschien ook zoiets daarmee doen...

Dank voor de tip! Als mijn Squeezebox Touch ooit dood gaat dan ga ik daar zeker naar kijken.

Verder ben ik erg benieuwd naar dat bestandsnamen gedoe :
[...]
Wat voor namen/tekens zijn dat dan

Ik heb vrij veel klassieke muziek in mijn collectie, waar het niet ongebruikelijk is dat stukken bijvoorbeeld dubbele punten ( : ) bevatten. Maar ook vraagtekens en verder alle anders tekens die je onder Windows niet in een bestandsnaam mag gebruiken.

[krijn1985]

iGadget schreef op woensdag 19 mei 2021 @ 15:30:
@krijn1985 dat is wel echt hardcore Op die manier zou ik mijn werkstation ook nog in kunnen zetten als extra Proxmox node... Tenminste, ik neem aan dat je scherm en toetsenbord/muis wel rechtstreeks aan die machine gekoppeld zijn?

Klopt beeldscherm zit gekoppeld aan mijn GPU die via passthrough is doorgegeven aan mijn Desktop VM. En mijn muis en toetsenbord ook rechtstreeks op de machine.

Met je probleem kan ik je jammer genoeg niet helpen. Geen ervaring mee.

_Eend_ schreef op woensdag 19 mei 2021 @ 15:45:
Ik heb ook wel eens aan een zelfde setup als die van @krijn1985 zitten denken, maar om mijn desktop 24/7 aan te laten staan gaat ook wel een dure hobby worden. Mijn huidige PVE bakkie doet 10-20 watt idle. Mijn desktop 100(?). En ik wil nog wel eens een spelletje starten

Ik moet eerlijk zeggen dat ik inderdaad niet gemeten heb wat mijn verbruik is. Ik had vroeger een nas op basis van AMD brazos en een desktop/server. Uiteindelijk de keuze gemaakt om dit toch proberen samen te voegen in een nieuw systeem en proxmox te gaan gebruiken. Het enige extra verbruik wat ik nu heb in mijn server is de extra videokaart, nvidia GT1030, waar ik een simpel spelletje op kan spelen als ik wil.

Wat nog wel op de planning staat om een keer te proberen is om de iGPU van mijn processor te gaan gebruiken voor mijn VM, eventueel via intel GTV-g. Dan zou de videokaart eruit kunnen en weer klein beetje besparen. En eventueel meerdere VM's gebruik laten maken van die videokaart. Maar ik heb het niet zo op rebooten van mijn server en/of eventueel slopen aangezien mijn desktop erop draait

[_Eend_]

@krijn1985 Die GT1030 doet volgens tomshardware 8 watt idle, dat is nog wel te overzien.

[barrymossel]

Is het mogelijk de disk van een VM te verkleinen? Ik wil mijn Samba server lostrekken van de overige dockers (omdat ik van die data geen snapshot wil maken). Maar laat ik nu net een week of wat geleden de disk van die VM te hebben vergroot...
Kan het zo 1-2-3 niet vinden.

[Storm-Fox]

Ik heb dringend hulp nodig met met mijn ZFS setup, want bij ZFS gebruik loop ik
in rap tempo uit mijn geheugen!

Op dit moment heeft mijn Proxmox server 16GB RAM en draait een handvol VM's en containers.
In een van de linux VM's draai ik een NAS (Xigmanas) met 3GB ram. Op deze NAS heb ik een
mount naar een ZFS disk van 1TB want kwa performance en toegang van andere VM's uitstekend werkt.
Bij normaal gebruik is het geheugen gebruik slechts 44% (6.9GB).


Maar zodra ik gebruik maak van mijn ZFS disk loop dit direct naar de 90% en blijft zo ook continue staan.
In xigmanas heb ik de zfs caching nog aangepast naar : vfs.zfs.arc_max:2G en vfs.zfs.arc_min: 1G
Maar dit heeft totaal geen invloed gehad.

Het liefst zou ik mijn thinclient PC uitbreiden naar 32GB geheugen, maar dat zit er kwa budget niet in, dus moet ik een andere oplossing vinden. Hebben jullie raad?

[maxxie85]

Storm-Fox schreef op vrijdag 21 mei 2021 @ 15:19:
Ik heb dringend hulp nodig met met mijn ZFS setup, want bij ZFS gebruik loop ik
in rap tempo uit mijn geheugen!

Op dit moment heeft mijn Proxmox server 16GB RAM en draait een handvol VM's en containers.
In een van de linux VM's draai ik een NAS (Xigmanas) met 3GB ram. Op deze NAS heb ik een
mount naar een ZFS disk van 1TB want kwa performance en toegang van andere VM's uitstekend werkt.
Bij normaal gebruik is het geheugen gebruik slechts 44% (6.9GB).


Maar zodra ik gebruik maak van mijn ZFS disk loop dit direct naar de 90% en blijft zo ook continue staan.
In xigmanas heb ik de zfs caching nog aangepast naar : vfs.zfs.arc_max:2G en vfs.zfs.arc_min: 1G
Maar dit heeft totaal geen invloed gehad.

Het liefst zou ik mijn thinclient PC uitbreiden naar 32GB geheugen, maar dat zit er kwa budget niet in, dus moet ik een andere oplossing vinden. Hebben jullie raad?

Dit is precies de werking van ZFS ARC. Leeg geheugen is verspilt geheugen. ZFS pakt all het geheugen wat beschikbaar is en vult dit met de ARC tot ong. 90% RAM. Zodra een ander proces geheugen nodig heeft zal ZFS de ARC verkleinen om weer op 90% te komen.
Als je je RAM in je server upgraded naar 32GB zal precies hetzelfde gebeuren. Alleen bevat de ARC meer data. Geen reden tot paniek dus.

[Storm-Fox]

maxxie85 schreef op vrijdag 21 mei 2021 @ 15:44:
[...]


Dit is precies de werking van ZFS ARC. Leeg geheugen is verspilt geheugen. ZFS pakt all het geheugen wat beschikbaar is en vult dit met de ARC tot ong. 90% RAM. Zodra een ander proces geheugen nodig heeft zal ZFS de ARC verkleinen om weer op 90% te komen.
Als je je RAM in je server upgraded naar 32GB zal precies hetzelfde gebeuren. Alleen bevat de ARC meer data. Geen reden tot paniek dus.

Ik maak mij wel zorgen want mijn andere vm's merken dat er te weinig geheugen is, ondanks dat de
proxmox VM gecapped it tot 3GB.

op de proxmox website staat het volgende over ZFS:
"ZFS depends heavily on memory, so you need at least 8GB to start. In practice, use as much as you can get for your hardware/budget"

Mocht mijn huidige 16GB+1B ZFS setup niet werken. dan zal ik xigmanas vervangen voor een Xpenology (DSM 6.3.2) en afstappen van ZFS.

[nero355]

Storm-Fox schreef op vrijdag 21 mei 2021 @ 15:51:
Ik maak mij wel zorgen want mijn andere vm's merken dat er te weinig geheugen is, ondanks dat de
proxmox VM gecapped it tot 3GB.

op de proxmox website staat het volgende over ZFS:
"ZFS depends heavily on memory, so you need at least 8GB to start. In practice, use as much as you can get for your hardware/budget"

Mja, het is allemaal een beetje afhankelijk van wat je ermee doet : Met 4 of zelfs 2 GB RAM kan je ook ZFS draaien, maar de performance is dan gewoon wat minder!

Sinds dit een ZFS probleem is kan je beter effe in "Het grote ZFS Topic" rondneuzen en dan hiermee beginnen : d3vlin in "Het grote ZFS topic"

Mocht mijn huidige 16GB+1B ZFS setup niet werken. dan zal ik xigmanas vervangen voor een Xpenology (DSM 6.3.2) en afstappen van ZFS.

Niet doen joh!

Proxmox is veel leuker!

[icecreamfarmer]

Heeft iemand hier ooit een bestaande externe HDD weten te mounten aan een LXC?
Zie onderstaand voor mijn problemen:
icecreamfarmer in "Welk OS voor een Domotica / NAS combi server?"

Ik heb de usb drive nu via automount gemount op: /dev/sdc1 on /media/usb0 type fuseblk .
Maar hoe krijg ik hem nu benaderbaar in een LXC? Ik kan iets mounten in een LXC volgens dit:
https://forum.proxmox.com...fs-pool.56275/post-339377

Maar ik moet dan de GB's opgeven. Overschrijf ik dan niet alle data die al op de schijf staat?

[Storm-Fox]

Nou, het is gebeurd => Ik heb mijn xigmanas VM verwijderd en draai nu Xpenology (synology)
in proxmox. Default heeft de VM 500MB en met zo weinig geheugen draait hij al rap.
Ik ga dit verhogen naar 2GB en ga de komende weken goed monitoren hoe de performance
is en of ik rare dingen ontdek. Maar tot nu toe ben ik zeer tevreden.

[powerboat]

Storm-Fox schreef op vrijdag 21 mei 2021 @ 17:05:
Nou, het is gebeurd => Ik heb mijn xigmanas VM verwijderd en draai nu Xpenology (synology)
in proxmox. Default heeft de VM 500MB en met zo weinig geheugen draait hij al rap.
Ik ga dit verhogen naar 2GB en ga de komende weken goed monitoren hoe de performance
is en of ik rare dingen ontdek. Maar tot nu toe ben ik zeer tevreden.

Xigmanas werkt ook wel met minder geheugen moet je alleen geen zfs gebruiken maar softraid of single disk.

[dcm360]

ZFS in een VM ben ik in het verleden ook niet gelukkig mee geworden, het enkel op de host gebruiken werkt ruim beter. Mijn 'router' (Proxmox-machientje met 4 VM's en een paar containers op ZFS) heeft een Atom en maar 8GB RAM, en dat werkt prima. Ook op een oude laptop met 8GB had ik er geen problemen mee. Echter heb ik NAS-achtige taken nooit gedraaid op een machine met minder dan 32GB RAM...

[smeerbartje]

Hey! Blij met dit topic!!!!! Ik ga namelijk binnenkort mijn huidige home-server (ubuntu als host, 20 docker containers) voorzien van een "schone" proxmox installatie. Daarin wil ik dan de volgende VMs gaan draaien:

• Een VM die ik "server" noem. Deze gaat dus de 20 docker containers draaien
• Een "test" server; puur om spul uit te proberen, etc
• Een aantal VMs (minimaal drie) waarmop ik een kubernetes cluster ga draaien

Ofwel: leuk speelgoed dus.
Alleen de vraag: 1 van de 20 docker containers "praat" met mijn P1 poort (energie verbruik uitlezen). Dit gebeurt via een USB kabeltje tussen de server en de P1 poort. Ik kan eenvoudig in het docker run commando via devices "/dev/ttyUSB0" door-pasen naar de container.

Nu de vraag: hoe gaat dit straks met proxmox werken? Dan zit proxmox er dus "tussen"? Kan ik die ene USB poort dan "beschikbaar krijgen" in deze specifieke virtuele machine? Hoe werkt dit precies?

Ik heb dit gevonden. Aangezien het allemaal linux is, heb ik eens gekeken op mijn huidige server, dus commando "lsusb" uitgevoegd. Output is als volgt:

code:

Bus 002 Device 002: ID 8087:8000 Intel Corp.
Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 002: ID 8087:8008 Intel Corp.
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 004 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 003 Device 002: ID 0403:6001 Future Technology Devices International, Ltd FT232 Serial (UART) IC
Bus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

Begrijp ik nu goed dat als ik straks proxmox heb draaien, dan een VM installeer met daarop Ubuntu... dat ik de P1 usb poort dan beschikbaar kan maken door

code:

qm set 804 -usb0 host=0403:6001

Uit te voeren? Even ervan uitgegaan dat 804 het ID van de ubuntu virtuele bak is.

[ Voor 35% gewijzigd door smeerbartje op 21-05-2021 19:57 ]

[Storm-Fox]

smeerbartje schreef op vrijdag 21 mei 2021 @ 19:35:
Hey! Blij met dit topic!!!!! Ik ga namelijk binnenkort mijn huidige home-server (ubuntu als host, 20 docker containers) voorzien van een "schone" proxmox installatie. Daarin wil ik dan de volgende VMs gaan draaien:

• Een VM die ik "server" noem. Deze gaat dus de 20 docker containers draaien
• Een "test" server; puur om spul uit te proberen, etc
• Een aantal VMs (minimaal drie) waarmop ik een kubernetes cluster ga draaien

Ofwel: leuk speelgoed dus.
Alleen de vraag: 1 van de 20 docker containers "praat" met mijn P1 poort (energie verbruik uitlezen). Dit gebeurt via een USB kabeltje tussen de server en de P1 poort. Ik kan eenvoudig in het docker run commando via devices "/dev/ttyUSB0" door-pasen naar de container.

Nu de vraag: hoe gaat dit straks met proxmox werken? Dan zit proxmox er dus "tussen"? Kan ik die ene USB poort dan "beschikbaar krijgen" in deze specifieke virtuele machine? Hoe werkt dit precies?

Ik heb dit gevonden. Aangezien het allemaal linux is, heb ik eens gekeken op mijn huidige server, dus commando "lsusb" uitgevoegd. Output is als volgt:

code:

Bus 002 Device 002: ID 8087:8000 Intel Corp.
Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 002: ID 8087:8008 Intel Corp.
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 004 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 003 Device 002: ID 0403:6001 Future Technology Devices International, Ltd FT232 Serial (UART) IC
Bus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

Begrijp ik nu goed dat als ik straks proxmox heb draaien, dan een VM installeer met daarop Ubuntu... dat ik de P1 usb poort dan beschikbaar kan maken door

code:

qm set 804 -usb0 host=0403:6001

Uit te voeren? Even ervan uitgegaan dat 804 het ID van de ubuntu virtuele bak is.

Ik heb Domoticz in een proxmox VM draaien en hierbij is het heel makkelijk om hardware in de server beschikbaar te stellen aan een VM. Zo ook een USB p1 die je in een dropdown menu kunt selecteren.

[smeerbartje]

Storm-Fox schreef op vrijdag 21 mei 2021 @ 20:00:
[...]


Ik heb Domoticz in een proxmox VM draaien en hierbij is het heel makkelijk om hardware in de server beschikbaar te stellen aan een VM. Zo ook een USB p1 die je in een dropdown menu kunt selecteren.

Huh, ik dacht ergens te lezen dat dit via de CLI moet??? Nice! Kan dus gewoon via de GUI?!

[Storm-Fox]

Yep, het is echt kinderspel geworden.
YouTube: Adding USB Devices to Proxmox VM

[icecreamfarmer]

smeerbartje schreef op vrijdag 21 mei 2021 @ 20:01:
[...]

Huh, ik dacht ergens te lezen dat dit via de CLI moet??? Nice! Kan dus gewoon via de GUI?!

Ja in een VM is dat makkelijk om een usb apparaat via cli beschikbaar te stellen.
In een LCX heb ik het nog niet werkend.

[A1AD]

Storm-Fox schreef op vrijdag 21 mei 2021 @ 15:51:
[...]


Ik maak mij wel zorgen want mijn andere vm's merken dat er te weinig geheugen is, ondanks dat de
proxmox VM gecapped it tot 3GB.

op de proxmox website staat het volgende over ZFS:
"ZFS depends heavily on memory, so you need at least 8GB to start. In practice, use as much as you can get for your hardware/budget"

Mocht mijn huidige 16GB+1B ZFS setup niet werken. dan zal ik xigmanas vervangen voor een Xpenology (DSM 6.3.2) en afstappen van ZFS.

Ik heb dit gedaan:

code:

cat  /etc/modprobe.d/zfs.conf
options zfs zfs_arc_max=4299967296

edit: nog wat extra info: https://forum.proxmox.com...arc-or-limiting-it.77845/

[ Voor 6% gewijzigd door A1AD op 21-05-2021 20:06 ]

[smeerbartje]

Zoals gezegd, kogel is door de kerk hier; ik ga over op proxmox. Alleen één klein vraagje nog.

Stel:

• Situatie 1: Ubuntu op host; met daar een aantal docker containers
• Situatie 2: Proxmox op host; met daar een VM met Ubuntu; met daarin een aantal docker containers

Hoeveel gaat de VM "overhead" precies schelen? Iemand die hier iets zinnigs over kan zeggen?

[Compizfox]

smeerbartje schreef op zaterdag 22 mei 2021 @ 17:24:
Zoals gezegd, kogel is door de kerk hier; ik ga over op proxmox. Alleen één klein vraagje nog.

Stel:

• Situatie 1: Ubuntu op host; met daar een aantal docker containers
• Situatie 2: Proxmox op host; met daar een VM met Ubuntu; met daarin een aantal docker containers

Hoeveel gaat de VM "overhead" precies schelen? Iemand die hier iets zinnigs over kan zeggen?

Je kunt i.p.v. een VM ook een LXC-container draaien als Docker-host.

[smeerbartje]

Compizfox schreef op zaterdag 22 mei 2021 @ 17:26:
[...]

Je kunt i.p.v. een VM ook een LXC-container draaien als Docker-host.

Thanks voor de tip; echter het schijnt dat devices-passthrough op LXC nogal problematisch is. En ik vind het wel "puur" om enkel VMs te hebben. Zou je iets kunnen zeggen over de overhead in mijn aanvankelijke vraag?

[Compizfox]

smeerbartje schreef op zaterdag 22 mei 2021 @ 17:34:
[...]

Thanks voor de tip; echter het schijnt dat devices-passthrough op LXC nogal problematisch is.

Zelf nog niet geprobeerd, maar dit zou "gewoon" moeten werken door het /dev/bus/usb/ "device file" te mounten in de container.

En ik vind het wel "puur" om enkel VMs te hebben. Zou je iets kunnen zeggen over de overhead in mijn aanvankelijke vraag?

Ik zou juist LXC containers prefereren waar mogelijk (lees: waar Linux geen probleem is). Containers zijn "leaner" in het opzicht dat je alleen de userland virtualiseert.

Wat voor overhead bedoel je precies? CPU-overhead van VMs zal bij hardware-assisted virtualisation verwaarloosbaar zijn. Je hebt natuurlijk wel wat RAM-overhead.

Ik gebruik eigenlijk op mijn Proxmox-setup zoveel mogelijk LXC-containers, en alleen VMs wanneer ik een andere kernel dan de host-kernel nodig heb, zoals voor mijn gevirtualiseerde router (pfSense, dus FreeBSD).

[smeerbartje]

Compizfox schreef op zaterdag 22 mei 2021 @ 17:43:
[...]

Zelf nog niet geprobeerd, maar dit zou "gewoon" moeten werken door het /dev/bus/usb/ "device file" te mounten in de container.


[...]

Ik zou juist LXC containers prefereren waar mogelijk (lees: waar Linux geen probleem is). Containers zijn "leaner" in het opzicht dat je alleen de userland virtualiseert.

Wat voor overhead bedoel je precies? CPU-overhead van VMs zal bij hardware-assisted virtualisation verwaarloosbaar zijn. Je hebt natuurlijk wel wat RAM-overhead.

Ik gebruik eigenlijk op mijn Proxmox-setup zoveel mogelijk LXC-containers, en alleen VMs wanneer ik een andere kernel dan de host-kernel nodig heb, zoals voor mijn gevirtualiseerde router (pfSense, dus FreeBSD).

[edit]
Hier al heel wat info gevonden: https://linuxcontainers.o...d-cli/#launch-an-instance
Ik ga het gewoon proberen; komt goed

Cool cool... dank voor de info. Persoonlijk heb ik echt nul ervaring met LCX, wel veel ervaring met docker. Stel ik wil traefik, prometheus of wat voor service dan ook draaien in LCX, hoe werkt dat precies? Moet ik dan de GUI van proxmox gebruiken?

[ Voor 7% gewijzigd door smeerbartje op 22-05-2021 17:50 ]

[Compizfox]

smeerbartje schreef op zaterdag 22 mei 2021 @ 17:47:
[...]
Cool cool... dank voor de info. Persoonlijk heb ik echt nul ervaring met LCX, wel veel ervaring met docker. Stel ik wil traefik, prometheus of wat voor service dan ook draaien in LCX, hoe werkt dat precies? Moet ik dan de GUI van proxmox gebruiken?

LXC en Docker doen iets vergelijkbaars (OS-level virtualization), maar met iets andere use cases. In het geval van LXC virtualiseer je een heel OS* wat je een systeem met z'n eigen IP e.d. oplevert. Docker doet iets vergelijkbaars, maar is gemaakt voor het draaien van één applicatie/service.

Wat ik voorstelde is dat je Docker kunt draaien in een LXC-container (in plaats van in een VM).

Applicaties installeren direct in een LXC-container houdt simpelweg in dat je een distro installeert, en daarbinnen die applicatie op de gebruikelijke manier installeert.

Proxmox heeft idd via de web-GUI ondersteuning voor het aanmaken/configureren van LXC-containers.

* of ja, zonder kernel dan. In het geval van LXC komt dit dus neer op een Linux-distro

[ Voor 4% gewijzigd door Compizfox op 22-05-2021 17:54 ]

[powerboat]

smeerbartje schreef op zaterdag 22 mei 2021 @ 17:24:
Zoals gezegd, kogel is door de kerk hier; ik ga over op proxmox. Alleen één klein vraagje nog.

Stel:

• Situatie 1: Ubuntu op host; met daar een aantal docker containers
• Situatie 2: Proxmox op host; met daar een VM met Ubuntu; met daarin een aantal docker containers

Hoeveel gaat de VM "overhead" precies schelen? Iemand die hier iets zinnigs over kan zeggen?

Uhm... Is toch automatisch situatie 2 als je voor proxmox gaat?

Kan je kwa perfomance loss geen zinnig woord over zeggen. Maar mijn vm'tjes staan qua processor kracht praktisch niets te doen. Denk dat geheugen eerder je limiet is.

[smeerbartje]

Hey, daar ben ik weer . Ik heb inmiddels een succesvolle installatie van proxomox gedaan. Daarna 2x een VM (ubuntu 20 LTS) aangemaakt en hupseee... alles draait weer. Helemaal blij met Proxmox!!

Alleen ik heb nog wel wat vragen; sorry voor being noob here...

• Wanneer wordt geheugen gealloceerd? Misschien domme vraag, maar mijn server heeft maar 8 gb intern geheugen. Ik heb een VM met 6 GB en een VM met 2 GB. De host (proxmox zelf) heeft uiteraard ook geheugen nodig. Stel ik start beide VMs, wordt er dan instant 6+2 GB gealloceerd of gebeurt dat pas wanneer de processen binnen de VMs het geheugen daadwerkelijk nodig hebben? Hoe dan ook, ik moet geheugen bijprikken; zou dit geheugen passen bij dit moederbord? Er nu 2x4 gb van dit in. In totaal zou ik dan uitkomen op 24 gb intern geheugen. Gaat dit werken?
• Hoe kan ik Proxmox vertellen mijn eigen smtp server te gebruiken? Hoe kan ik een testmail versturen vanuit proxmox?
• Hebben jullie een valid subscription? Is dit nodig? Uiteraard wil ik prima 90 euro per jaar betalen als ik daarmee het voortbestaan van Proxmox help; maar wat krijg ik daarnaast nog? Wat zijn de (technische) voordelen hiervan?

[_JGC_]

@smeerbartje in principe wordt geheugen toegewezen als dat nodig is, hangt ook af of je balloon gebruikt of niet. Zonder balloon gaan er gewoon 6 en 2GB naar de VMs, proxmox zal daarbij gaan swappen.
Verder gebruikt proxmox KSM, waarbij toegewezen geheugen ontdubbeld wordt.

[dcm360]

Of het geheugen voldoende is, hangt af van het gebruik in de VM. Aangezien je Linux in de VM's gebruikt, zal 'vrij' geheugen in de VM ook weer netjes teruggegeven worden aan de host, dus dat scheelt al iets. KSM kan ook helpen, daarmee worden 'dubbelen' in het geheugen opgespoord en ontdubbeld. Dit moet je wel aanzetten, standaard staat dit tegenwoordig uit vanwege de mogelijkheden voor side-channel-attacks, maar dat is voor thuisgebruik niet echt een issue. Mocht je meer geheugen willen bijplaatsen, dan zou het bijplaatsen van de genoemde kit denk ik wel werken (let er wel op dat de timings ingesteld worden op die van de tragere kit). Ik kom dan wel uit op een totaal van 16GB overigens (2x4 bestaand, plus een kit van 2x4).

Om e-mail correct van Proxmox naar jouw smtp-server te krijgen, kan je Postfix op de Proxmox-machine instellen om een outbound relay te gebruiken. In de basis is dat iets als 'relayhost = [gw.example.com]' toevoegen aan main.cf en dan postfix herstarten.

[icecreamfarmer]

Compizfox schreef op zaterdag 22 mei 2021 @ 17:43:
[...]

Zelf nog niet geprobeerd, maar dit zou "gewoon" moeten werken door het /dev/bus/usb/ "device file" te mounten in de container.


[...]

Ik zou juist LXC containers prefereren waar mogelijk (lees: waar Linux geen probleem is). Containers zijn "leaner" in het opzicht dat je alleen de userland virtualiseert.

Wat voor overhead bedoel je precies? CPU-overhead van VMs zal bij hardware-assisted virtualisation verwaarloosbaar zijn. Je hebt natuurlijk wel wat RAM-overhead.

Ik gebruik eigenlijk op mijn Proxmox-setup zoveel mogelijk LXC-containers, en alleen VMs wanneer ik een andere kernel dan de host-kernel nodig heb, zoals voor mijn gevirtualiseerde router (pfSense, dus FreeBSD).

Zou je mij kunnen laten weten wanneer en hoe je het werkend hebt gekregen? Ik heb verschillende tutorials gevolgd maar werkend heb ik het de afgelopen maanden niet gekregen.

Een ander issue:
Heb nu via een VM xpenology draaien met daarop via passthrough (via GUI) een externe usb drive die ik wil delen en gebruiken. Heb in de synology staan dat de disk naar 10 minuten moet stoppen met draaien.
Dat krijg ik echter niet werkend ondanks dat de disk de hele nacht niet aangesproken wordt.

In een OMV VM werkt het via dezelfde manier wel en stopt de HDD netjes met spinnen. Wat gaat hier fout?
Een instelling in Proxmox in Xpenology/Synology?

[Compizfox]

icecreamfarmer schreef op maandag 24 mei 2021 @ 13:39:
[...]

Zou je mij kunnen laten weten wanneer en hoe je het werkend hebt gekregen? Ik heb verschillende tutorials gevolgd maar werkend heb ik het de afgelopen maanden niet gekregen.

Laatst geïnstalleerd, ik had nergens in het bijzonder problemen mee.

Je moet wel even zorgen dat je in je (unprivileged) LXC-container de features nesting en keyctl aanzet, en de kernel modules overlay en aufs laadt op de host. Deze info heb van deze comment.

Daarna heb ik gewoon Alpine Linux geïnstalleerd met daarin Docker. De instructies daarvoor kun je hier vinden.

[icecreamfarmer]

Compizfox schreef op maandag 24 mei 2021 @ 14:58:
[...]

Laatst geïnstalleerd, ik had nergens in het bijzonder problemen mee.

Je moet wel even zorgen dat je in je (unprivileged) LXC-container de features nesting en keyctl aanzet, en de kernel modules overlay en aufs laadt op de host. Deze info heb van deze comment.

Daarna heb ik gewoon Alpine Linux geïnstalleerd met daarin Docker. De instructies daarvoor kun je hier vinden.

Ik had het over de usb pass through niet het installeren van docker .
Mijn probleem met het uitzetten van de usb HDD is trouwens opgelost. Heb nu niet de poort maar het apparaat toegewezen aan de VM.

Nu is nog de vraag zal ik:
1. Een tweede externe HDD erbij kopen en ze dan als interne drives configureren en in (software) raid gebruiken? Zodat synology ze configureert en bijhoudt?
2. Bovenstaand plan maar dan een ZFS share aanmaken in proxmox en die vervolgens als disk(s) toewijzen aan synology?
3. Huidige setup gebruiken waarbij ik de externe HDD aan synology hang en hem als usb drive behoud en niet als volume configureer. Daarbij maak ik om de zoveel tijd via een andere externe schijf een backup van de belangrijkste bestanden en leg die vervolgens in de kluis.\


Wat zijn de voordelen en nadelen van optie 1 en 2? Stel dat de VM van synology klapt. Kan ik dan nog bij mijn bestanden? Idem met de installatie van proxmox. Het voordeel van de huidige situatie is dat ik bij het falen van proxmox en de VM ze altijd nog kan uitlezen in een andere (windows) computer.

[ Voor 32% gewijzigd door icecreamfarmer op 24-05-2021 20:10 ]

[A1AD]

smeerbartje schreef op zaterdag 22 mei 2021 @ 17:24:
Zoals gezegd, kogel is door de kerk hier; ik ga over op proxmox. Alleen één klein vraagje nog.

Stel:

• Situatie 1: Ubuntu op host; met daar een aantal docker containers
• Situatie 2: Proxmox op host; met daar een VM met Ubuntu; met daarin een aantal docker containers

Hoeveel gaat de VM "overhead" precies schelen? Iemand die hier iets zinnigs over kan zeggen?

LXC met Docker op ipv een VM

[smeerbartje]

dcm360 schreef op maandag 24 mei 2021 @ 12:40:
Of het geheugen voldoende is, hangt af van het gebruik in de VM. Aangezien je Linux in de VM's gebruikt, zal 'vrij' geheugen in de VM ook weer netjes teruggegeven worden aan de host, dus dat scheelt al iets. KSM kan ook helpen, daarmee worden 'dubbelen' in het geheugen opgespoord en ontdubbeld. Dit moet je wel aanzetten, standaard staat dit tegenwoordig uit vanwege de mogelijkheden voor side-channel-attacks, maar dat is voor thuisgebruik niet echt een issue. Mocht je meer geheugen willen bijplaatsen, dan zou het bijplaatsen van de genoemde kit denk ik wel werken (let er wel op dat de timings ingesteld worden op die van de tragere kit). Ik kom dan wel uit op een totaal van 16GB overigens (2x4 bestaand, plus een kit van 2x4).

Om e-mail correct van Proxmox naar jouw smtp-server te krijgen, kan je Postfix op de Proxmox-machine instellen om een outbound relay te gebruiken. In de basis is dat iets als 'relayhost = [gw.example.com]' toevoegen aan main.cf en dan postfix herstarten.

Als ik systemctl status ksmtuned run, dan zie ik dat deze draait. Ik heb dit niet expliciet aangezet, terwijl jij zegt dat dat wel moet. Mis ik nog iets?

Tevens heb ik deze vraag nog:

Hebben jullie een valid subscription? Is dit nodig? Uiteraard wil ik prima 90 euro per jaar betalen als ik daarmee het voortbestaan van Proxmox help; maar wat krijg ik daarnaast nog? Wat zijn de (technische) voordelen hiervan?

[Tim Schuhmacher]

Ik ben een nuc aan het inrichten, de directe aanleiding was om mijn Home Assistant installatie te verhuizen van docker naar hun eigen OS. Ik heb er voor gekozen die via Proxmox te laten draaien. Nu ben ik Proxmox aan het verkennen.

In de nuc zit een ssd van 120GB en een hd van 1TB. Ik was in de veronderstelling dat ik Proxmox op de ssd heb geinstalleerd en dat de HD ongemoeid zou blijven, en dat ik de data die er op staat weer zou kunnen benaderen (LXC met samba was mijn idee). Maar nu bekruipt me het gevoel dat proxmox ook de HD heeft toegeeigend. Dat die data nu weg is, is niet een heel groot probleem, het is online gebackuped. Maar ik wil hier even mijn vermoeden bevestigd hebben, en hoe ik verder kan gaan.

Proxmox > Disks laat zien dat beide disks gevonden zijn:


Proxmox > Disks > LVM laat het volgende zien:


Zo zag het direct na de installatie uit, dit is niet wat ik zelf ingesteld heb. Klopt het hiermee dat de SSD voor proxmox zelf is gebruikt, en dat de iso / templates daarop komen, en de containers die ik aanmaakt op de HD komen?

Er is nog 17gb vrij, maar ik nog maar 1 vm en 3 lxc draaien, dat lijkt me niet alle data te verbruiken. Of is dat geclaimed maar nog niet gebruikt? Kan ik alsnog wel zeggen dat de data weg is?

Er van uitgaande dat de data wel weg is, maar ik toch nog een LXC met samba wil. Maak ik dan die LXC zo groot (300gb) dat het alle data kan downloaden en herbergen? of is er een andere proxmox-way om dit te bereiken?

root@proxmox:~# lvdisplay | grep -iFe "size" -e "Path" -iFe "Name" -e "Logical volume" -e "Status"
  --- Logical volume ---
  LV Path                /dev/server-vg/root
  LV Name                root
  VG Name                server-vg
  LV Status              available
  LV Size                103.66 GiB
  --- Logical volume ---
  LV Path                /dev/server-vg/swap_1
  LV Name                swap_1
  VG Name                server-vg
  LV Status              available
  LV Size                7.88 GiB
  --- Logical volume ---
  LV Path                /dev/pve/swap
  LV Name                swap
  VG Name                pve
  LV Status              available
  LV Size                7.00 GiB
  --- Logical volume ---
  LV Path                /dev/pve/root
  LV Name                root
  VG Name                pve
  LV Status              available
  LV Size                96.00 GiB
  --- Logical volume ---
  LV Name                data
  VG Name                pve
  LV Status              available
  LV Size                <795.77 GiB
  --- Logical volume ---
  LV Path                /dev/pve/vm-100-disk-0
  LV Name                vm-100-disk-0
  VG Name                pve
  LV Pool name           data
  LV Status              available
  LV Size                4.00 MiB
  Mapped size            0.00%
  --- Logical volume ---
  LV Path                /dev/pve/vm-100-disk-1
  LV Name                vm-100-disk-1
  VG Name                pve
  LV Pool name           data
  LV Status              available
  LV Size                32.00 GiB
  Mapped size            25.95%
  --- Logical volume ---
  LV Path                /dev/pve/vm-101-disk-0
  LV Name                vm-101-disk-0
  VG Name                pve
  LV Pool name           data
  LV Status              available
  LV Size                2.00 GiB
  Mapped size            90.67%
  --- Logical volume ---
  LV Path                /dev/pve/vm-102-disk-0
  LV Name                vm-102-disk-0
  VG Name                pve
  LV Pool name           data
  LV Status              available
  LV Size                2.00 GiB
  Mapped size            40.55%
  --- Logical volume ---
  LV Path                /dev/pve/vm-103-disk-0
  LV Name                vm-103-disk-0
  VG Name                pve
  LV Pool name           data
  LV Status              available
  LV Size                2.00 GiB
  Mapped size            36.35%

[powerboat]

Tim Schuhmacher schreef op woensdag 26 mei 2021 @ 15:23:
Ik ben een nuc aan het inrichten, de directe aanleiding was om mijn Home Assistant installatie te verhuizen van docker naar hun eigen OS. Ik heb er voor gekozen die via Proxmox te laten draaien. Nu ben ik Proxmox aan het verkennen.

In de nuc zit een ssd van 120GB en een hd van 1TB. Ik was in de veronderstelling dat ik Proxmox op de ssd heb geinstalleerd en dat de HD ongemoeid zou blijven, en dat ik de data die er op staat weer zou kunnen benaderen (LXC met samba was mijn idee). Maar nu bekruipt me het gevoel dat proxmox ook de HD heeft toegeeigend. Dat die data nu weg is, is niet een heel groot probleem, het is online gebackuped. Maar ik wil hier even mijn vermoeden bevestigd hebben, en hoe ik verder kan gaan.

Proxmox > Disks laat zien dat beide disks gevonden zijn:
[Afbeelding]

Proxmox > Disks > LVM laat het volgende zien:
[Afbeelding]

Zo zag het direct na de installatie uit, dit is niet wat ik zelf ingesteld heb. Klopt het hiermee dat de SSD voor proxmox zelf is gebruikt, en dat de iso / templates daarop komen, en de containers die ik aanmaakt op de HD komen?

Er is nog 17gb vrij, maar ik nog maar 1 vm en 3 lxc draaien, dat lijkt me niet alle data te verbruiken. Of is dat geclaimed maar nog niet gebruikt? Kan ik alsnog wel zeggen dat de data weg is?

Er van uitgaande dat de data wel weg is, maar ik toch nog een LXC met samba wil. Maak ik dan die LXC zo groot (300gb) dat het alle data kan downloaden en herbergen? of is er een andere proxmox-way om dit te bereiken?

root@proxmox:~# lvdisplay | grep -iFe "size" -e "Path" -iFe "Name" -e "Logical volume" -e "Status"
  --- Logical volume ---
  LV Path                /dev/server-vg/root
  LV Name                root
  VG Name                server-vg
  LV Status              available
  LV Size                103.66 GiB
  --- Logical volume ---
  LV Path                /dev/server-vg/swap_1
  LV Name                swap_1
  VG Name                server-vg
  LV Status              available
  LV Size                7.88 GiB
  --- Logical volume ---
  LV Path                /dev/pve/swap
  LV Name                swap
  VG Name                pve
  LV Status              available
  LV Size                7.00 GiB
  --- Logical volume ---
  LV Path                /dev/pve/root
  LV Name                root
  VG Name                pve
  LV Status              available
  LV Size                96.00 GiB
  --- Logical volume ---
  LV Name                data
  VG Name                pve
  LV Status              available
  LV Size                <795.77 GiB
  --- Logical volume ---
  LV Path                /dev/pve/vm-100-disk-0
  LV Name                vm-100-disk-0
  VG Name                pve
  LV Pool name           data
  LV Status              available
  LV Size                4.00 MiB
  Mapped size            0.00%
  --- Logical volume ---
  LV Path                /dev/pve/vm-100-disk-1
  LV Name                vm-100-disk-1
  VG Name                pve
  LV Pool name           data
  LV Status              available
  LV Size                32.00 GiB
  Mapped size            25.95%
  --- Logical volume ---
  LV Path                /dev/pve/vm-101-disk-0
  LV Name                vm-101-disk-0
  VG Name                pve
  LV Pool name           data
  LV Status              available
  LV Size                2.00 GiB
  Mapped size            90.67%
  --- Logical volume ---
  LV Path                /dev/pve/vm-102-disk-0
  LV Name                vm-102-disk-0
  VG Name                pve
  LV Pool name           data
  LV Status              available
  LV Size                2.00 GiB
  Mapped size            40.55%
  --- Logical volume ---
  LV Path                /dev/pve/vm-103-disk-0
  LV Name                vm-103-disk-0
  VG Name                pve
  LV Pool name           data
  LV Status              available
  LV Size                2.00 GiB
  Mapped size            36.35%

Wellicht moet je de disk nog mounten

[krijn1985]

smeerbartje schreef op woensdag 26 mei 2021 @ 14:45:
[...]

Tevens heb ik deze vraag nog:


Hebben jullie een valid subscription? Is dit nodig? Uiteraard wil ik prima 90 euro per jaar betalen als ik daarmee het voortbestaan van Proxmox help; maar wat krijg ik daarnaast nog? Wat zijn de (technische) voordelen hiervan?

Nee is niet nodig, je hebt alleen die pop-up iedere keer als je inlogt (zijn wel manieren om die weg te krijgen). En je moet eventueel nog de enterprise repositories uitzetten. Zie hier voor wat je krijgt voor 90 euro.

[barrymossel]

krijn1985 schreef op woensdag 26 mei 2021 @ 21:45:
[...]


Nee is niet nodig, je hebt alleen die pop-up iedere keer als je inlogt (zijn wel manieren om die weg te krijgen). En je moet eventueel nog de enterprise repositories uitzetten. Zie hier voor wat je krijgt voor 90 euro.

https://gist.github.com/w...d624154bacbbc54880e1e3b2a

[eymey]

Theoretisch zit je zonder een subscription potentieel ook op een gegeven moment met een stukke Proxmox VE installatie, omdat je op een minder stabiele repository zit dan wanneer je een subscription hebt. Dus als je echt iets gaat opzetten waarbij stabiliteit van cruciaal belang is (bedrijfsmatig), dan loont het wellicht om een subscription te nemen.

In praktijk heb ik dit op mijn (enige) Proxmox VE bak thuis nog nooit mee gemaakt.

[smeerbartje]

eymey schreef op donderdag 27 mei 2021 @ 09:28:
Theoretisch zit je zonder een subscription potentieel ook op een gegeven moment met een stukke Proxmox VE installatie, omdat je op een minder stabiele repository zit dan wanneer je een subscription hebt. Dus als je echt iets gaat opzetten waarbij stabiliteit van cruciaal belang is (bedrijfsmatig), dan loont het wellicht om een subscription te nemen.

In praktijk heb ik dit op mijn (enige) Proxmox VE bak thuis nog nooit mee gemaakt.

Thanks; ik zie nu wel dit voorbij komen in de logs:



Heeft dit te maken met het ontbreken van een subscription? Ook geeft het update scherm dit weer:

code:

Proxmox
Virtual Environment 6.4-4
Search
Node 'pve'
Show details
Server View
Logs
starting apt-get update
Hit:1 http://ftp.nl.debian.org/debian buster InRelease
Hit:2 http://security.debian.org buster/updates InRelease
Get:3 http://ftp.nl.debian.org/debian buster-updates InRelease [51.9 kB]
Err:4 https://enterprise.proxmox.com/debian/pve buster InRelease
  401  Unauthorized [IP: 2a01:7e0:0:424::249 443]
Reading package lists...
E: Failed to fetch https://enterprise.proxmox.com/debian/pve/dists/buster/InRelease  401  Unauthorized [IP: 2a01:7e0:0:424::249 443]
E: The repository 'https://enterprise.proxmox.com/debian/pve buster InRelease' is not signed.
TASK ERROR: command 'apt-get update' failed: exit code 100

[ Voor 28% gewijzigd door smeerbartje op 28-05-2021 11:08 ]

[Hmmbob]

Ja.

https://pve.proxmox.com/wiki/Package_Repositories

[ Voor 89% gewijzigd door Hmmbob op 28-05-2021 11:22 ]

[d-vine]

smeerbartje schreef op vrijdag 28 mei 2021 @ 11:00:
[...]

Thanks; ik zie nu wel dit voorbij komen in de logs:

[Afbeelding]

Heeft dit te maken met het ontbreken van een subscription? Ook geeft het update scherm dit weer:

code:

Proxmox
Virtual Environment 6.4-4
Search
Node 'pve'
Show details
Server View
Logs
starting apt-get update
Hit:1 http://ftp.nl.debian.org/debian buster InRelease
Hit:2 http://security.debian.org buster/updates InRelease
Get:3 http://ftp.nl.debian.org/debian buster-updates InRelease [51.9 kB]
Err:4 https://enterprise.proxmox.com/debian/pve buster InRelease
  401  Unauthorized [IP: 2a01:7e0:0:424::249 443]
Reading package lists...
E: Failed to fetch https://enterprise.proxmox.com/debian/pve/dists/buster/InRelease  401  Unauthorized [IP: 2a01:7e0:0:424::249 443]
E: The repository 'https://enterprise.proxmox.com/debian/pve buster InRelease' is not signed.
TASK ERROR: command 'apt-get update' failed: exit code 100

ik heb deze site gevolgd en daarna was de failed code 100 weg

https://www.caretech.io/2...ut-buying-a-subscription/

[MasterMaceMichu]

Je kunt ook gewoon die 99 EUR betalen. Gezien de hoeveelheid werk dat Proxmox me uit handen neemt en de uitstekende hulp op o.a. hun forum is het me dat wel waard!

[smeerbartje]

MasterMaceMichu schreef op vrijdag 28 mei 2021 @ 11:58:
Je kunt ook gewoon die 99 EUR betalen. Gezien de hoeveelheid werk dat Proxmox me uit handen neemt en de uitstekende hulp op o.a. hun forum is het me dat wel waard!

Exact; dit is dus PRECIES wat ik zojuist heb gedaan.
Goed product, mag geld kosten, ook al is het voor thuisgebruik.

(beetje continuiteit erin houden is ook niet erg, anders zitten we over een tijdje zonder proxmox)

[Tim Schuhmacher]

powerboat schreef op woensdag 26 mei 2021 @ 19:10:
[...]


Wellicht moet je de disk nog mounten

In mijn uitleg had ik dit niet genoemd, maar had ik inderdaad ook bekeken. Aan mijn LXC had ik een mount point toegevoegd met het volgende commando:

pct set 103 -mp0 /dev/sda3,mp=/shared

Dan wil de container niet op starten met:

root@proxmox:~# pct start 103 --debug
run_buffer: 314 Script exited with status 32
lxc_init: 798 Failed to run lxc.hook.pre-start for container "103"
__lxc_start: 1945 Failed to initialize container "103"
type g nsid 0 hostid 100000 range 65536
INFO     lsm - lsm/lsm.c:lsm_init:40 - Initialized LSM security driver AppArmor
INFO     conf - conf.c:run_script_argv:331 - Executing script "/usr/share/lxc/hooks/lxc-pve-prestart-hook" for container "103", config section "lxc"
DEBUG    conf - conf.c:run_buffer:303 - Script exec /usr/share/lxc/hooks/lxc-pve-prestart-hook 103 lxc pre-start produced output: mount: /var/lib/lxc/.pve-staged-mounts/mp0: unknown filesystem type 'LVM2_member'.

DEBUG    conf - conf.c:run_buffer:303 - Script exec /usr/share/lxc/hooks/lxc-pve-prestart-hook 103 lxc pre-start produced output: command 'mount /dev/sda3 /var/lib/lxc/.pve-staged-mounts/mp0' failed: exit code 32

ERROR    conf - conf.c:run_buffer:314 - Script exited with status 32
ERROR    start - start.c:lxc_init:798 - Failed to run lxc.hook.pre-start for container "103"
ERROR    start - start.c:__lxc_start:1945 - Failed to initialize container "103"
INFO     conf - conf.c:run_script_argv:331 - Executing script "/usr/share/lxc/hooks/lxc-pve-poststop-hook" for container "103", config section "lxc"
startup for container '103' failed

Ook:

root@proxmox:~# mount /dev/sda3 /mnt/misc/
mount: /mnt/misc: unknown filesystem type 'LVM2_member'.

Daarop volgend heb ik de stappen hier https://www.svennd.be/mou...esystem-type-lvm2_member/ gevolgd waarbij de uitvoer van `lgscan` of `lvdisplay` in mijn vorige post mij doen vermoeden dat pve (/dev/sda3) al gebruikt wordt.

Dus als je toch denkt dat het anders is, kun je dan uitleggen hoe je dat ziet?

En verder, is het logisch om een LXC zo groot (300gb) te maken dat het alle data kan downloaden en herbergen? of is er een andere proxmox-way om dit te bereiken?

[nero355]

Tim Schuhmacher schreef op vrijdag 28 mei 2021 @ 14:31:
En verder, is het logisch om een LXC zo groot (300gb) te maken dat het alle data kan downloaden en herbergen? of is er een andere proxmox-way om dit te bereiken?

Volgens mij kan je in de meeste situaties beter ervoor zorgen dat je data buiten een container of zelfs VM staat, zodat je de boel makkelijker kan backuppen en ook makkelijker kan slopen en opnieuw opbouwen indien nodig

[powerboat]

Tim Schuhmacher schreef op vrijdag 28 mei 2021 @ 14:31:
[...]

In mijn uitleg had ik dit niet genoemd, maar had ik inderdaad ook bekeken. Aan mijn LXC had ik een mount point toegevoegd met het volgende commando:

pct set 103 -mp0 /dev/sda3,mp=/shared

Dan wil de container niet op starten met:

root@proxmox:~# pct start 103 --debug
run_buffer: 314 Script exited with status 32
lxc_init: 798 Failed to run lxc.hook.pre-start for container "103"
__lxc_start: 1945 Failed to initialize container "103"
type g nsid 0 hostid 100000 range 65536
INFO     lsm - lsm/lsm.c:lsm_init:40 - Initialized LSM security driver AppArmor
INFO     conf - conf.c:run_script_argv:331 - Executing script "/usr/share/lxc/hooks/lxc-pve-prestart-hook" for container "103", config section "lxc"
DEBUG    conf - conf.c:run_buffer:303 - Script exec /usr/share/lxc/hooks/lxc-pve-prestart-hook 103 lxc pre-start produced output: mount: /var/lib/lxc/.pve-staged-mounts/mp0: unknown filesystem type 'LVM2_member'.

DEBUG    conf - conf.c:run_buffer:303 - Script exec /usr/share/lxc/hooks/lxc-pve-prestart-hook 103 lxc pre-start produced output: command 'mount /dev/sda3 /var/lib/lxc/.pve-staged-mounts/mp0' failed: exit code 32

ERROR    conf - conf.c:run_buffer:314 - Script exited with status 32
ERROR    start - start.c:lxc_init:798 - Failed to run lxc.hook.pre-start for container "103"
ERROR    start - start.c:__lxc_start:1945 - Failed to initialize container "103"
INFO     conf - conf.c:run_script_argv:331 - Executing script "/usr/share/lxc/hooks/lxc-pve-poststop-hook" for container "103", config section "lxc"
startup for container '103' failed

Ook:

root@proxmox:~# mount /dev/sda3 /mnt/misc/
mount: /mnt/misc: unknown filesystem type 'LVM2_member'.

Daarop volgend heb ik de stappen hier https://www.svennd.be/mou...esystem-type-lvm2_member/ gevolgd waarbij de uitvoer van `lgscan` of `lvdisplay` in mijn vorige post mij doen vermoeden dat pve (/dev/sda3) al gebruikt wordt.

Dus als je toch denkt dat het anders is, kun je dan uitleggen hoe je dat ziet?

En verder, is het logisch om een LXC zo groot (300gb) te maken dat het alle data kan downloaden en herbergen? of is er een andere proxmox-way om dit te bereiken?

Ik maak inmiddels geen gebruik meer van LXC en kan je er ook niet zoveel over vertellen.

Ik zou zelf eerder de disk in proxmox mounten en naarmate je meer capaciteit nodig hebt je lxc/kvm machine uitbreiden. Of via passtrough aan een truenas doorgeven en dan sharen via nfs/smb/iscsi. Zoveel mogelijkheden

Effin ik denk als je hem mount via de cli op je hypervisor en daar naartoe navigeert dat je jouw bestanden kan zien.

[powerboat]

nero355 schreef op vrijdag 28 mei 2021 @ 16:56:
[...]

Volgens mij kan je in de meeste situaties beter ervoor zorgen dat je data buiten een container of zelfs VM staat, zodat je de boel makkelijker kan backuppen en ook makkelijker kan slopen en opnieuw opbouwen indien nodig

Ligt aan de situatie denk ik.

[Koepert]

Ik kom vandaag achter een vreemde 'error'...


Mijn proxmox webGUI is opeens niet meer bereikbaar. Firefox zegt dit:

code:

De wachttijd voor de verbinding is verstreken

De server op 192.xxx.xxx.xx doet er te lang over om te antwoorden.

    Misschien is de website tijdelijk niet beschikbaar of overbelast. Probeer het over enkele ogenblikken opnieuw.
    Als u geen enkele pagina kunt laden, controleer dan de netwerkverbinding van uw computer.
    Als uw computer of netwerk wordt beveiligd door een firewall of proxy, zorg er dan voor dat Nightly toegang heeft tot het web.

(andere browsers zijn het daar in verschillende bewoordingen mee eens)
Als ik via SSH inlog krijg ik deze error..

code:

-bash: /etc/profile: Input/output error
-bash: /root/.profile: Input/output error

Alle VM's werken nog wel gewoon, maar ik wilde inloggen om te kijken of er nog een update nodig was/hoe de staat van de host is. Vorige keer inlog was ruime week geleden, dus hoe lang dit al zo is, geen idee. Maar ik zit nu een beetje met de modus: ik kan niet bij de webGUI en niet via SSH erin, ik kan een scherm aansluiten en een tobo, maar dan? Waar begin ik met zoeken?

Scherm aangesloten:

scherm loopt vol met melding:

code:

[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 0 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0
[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 0 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0
[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 2048 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0
[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 1050624 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0

En dat dan in loop op t scherm met in de eerste brackets dus sowieso wijzigingen en de phys_seg schakelt af en toe naar 16/17/27 of 28..

[ Voor 23% gewijzigd door Koepert op 02-06-2021 13:39 ]

[MatsSkoe]

Koepert schreef op woensdag 2 juni 2021 @ 13:25:
Ik kom vandaag achter een vreemde 'error'...


Mijn proxmox webGUI is opeens niet meer bereikbaar. Firefox zegt dit:

code:

De wachttijd voor de verbinding is verstreken

De server op 192.xxx.xxx.xx doet er te lang over om te antwoorden.

    Misschien is de website tijdelijk niet beschikbaar of overbelast. Probeer het over enkele ogenblikken opnieuw.
    Als u geen enkele pagina kunt laden, controleer dan de netwerkverbinding van uw computer.
    Als uw computer of netwerk wordt beveiligd door een firewall of proxy, zorg er dan voor dat Nightly toegang heeft tot het web.

(andere browsers zijn het daar in verschillende bewoordingen mee eens)
Als ik via SSH inlog krijg ik deze error..

code:

-bash: /etc/profile: Input/output error
-bash: /root/.profile: Input/output error

Alle VM's werken nog wel gewoon, maar ik wilde inloggen om te kijken of er nog een update nodig was/hoe de staat van de host is. Vorige keer inlog was ruime week geleden, dus hoe lang dit al zo is, geen idee. Maar ik zit nu een beetje met de modus: ik kan niet bij de webGUI en niet via SSH erin, ik kan een scherm aansluiten en een tobo, maar dan? Waar begin ik met zoeken?

Scherm aangesloten:

scherm loopt vol met melding:

code:

[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 0 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0
[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 0 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0
[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 2048 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0
[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 1050624 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0

En dat dan in loop op t scherm met in de eerste brackets dus sowieso wijzigingen en de phys_seg schakelt af en toe naar 16/17/27 of 28..

I/O error, dev sda, sector 2048 gaat sowieso over een harddisk. Ik weet niet of je naar bios kan booten en nog wat diagnostics kan doen? Anders misschien even 'overige' harde schijven loskoppelen en boot drive aangekoppeld laten.

[nero355]

Koepert schreef op woensdag 2 juni 2021 @ 13:25:
Mijn proxmox webGUI is opeens niet meer bereikbaar. Firefox zegt dit:

Als ik via SSH inlog krijg ik deze error..

code:

-bash: /etc/profile: Input/output error
-bash: /root/.profile: Input/output error

Alle VM's werken nog wel gewoon, maar ik wilde inloggen om te kijken of er nog een update nodig was/hoe de staat van de host is. Vorige keer inlog was ruime week geleden, dus hoe lang dit al zo is, geen idee. Maar ik zit nu een beetje met de modus: ik kan niet bij de webGUI en niet via SSH erin, ik kan een scherm aansluiten en een tobo, maar dan? Waar begin ik met zoeken?

Scherm aangesloten:

scherm loopt vol met melding:

code:

[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 0 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0
[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 0 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0
[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 2048 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0
[xxxx,xxx(veranderend dus)] blk_update_request: I/O error, dev sda, sector 1050624 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0

En dat dan in loop op t scherm met in de eerste brackets dus sowieso wijzigingen en de phys_seg schakelt af en toe naar 16/17/27 of 28..

Je OS storage is gewoon kaduuk!

Boot naar een LiveCD ISO vanaf een USB Stick en lees de boel uit met smartctl

Succes alvast!

[rachez]

Niet toevallig een kingston A2000 SSD erin zitten?

Daar heb ik ook random I/O errors mee gehad, bleek een incompatibilteits issuetje te zijn met die specifieke ssd.

[_Eend_]

rachez schreef op woensdag 2 juni 2021 @ 19:43:
Niet toevallig een kingston A2000 SSD erin zitten?

Daar heb ik ook random I/O errors mee gehad, bleek een incompatibilteits issuetje te zijn met die specifieke ssd.

Daar zat ik ook aan te denken. Ik heb ook zo'n ding, helaas

Met wat tips van mensen hier op GoT heb ik het wel werkend gekregen. Maar bij echt intensieve taken verslikt die A2000 zich nog steeds. Als ik een VM kloon of snapshot (probeer) te maken gaat de boel een tijdje op slot. Gelukkig heb ik het OS op een SATA SSD geinstalleerd en niet op de A2000.

Maarja, mijn fout om een consumenten schijfje te gebruiken voor zoiets.

[Koepert]

rachez schreef op woensdag 2 juni 2021 @ 19:43:
Niet toevallig een kingston A2000 SSD erin zitten?

Daar heb ik ook random I/O errors mee gehad, bleek een incompatibilteits issuetje te zijn met die specifieke ssd.

Nope. T is n wat oudere machine met n 500 gb hdd en n 1tb storage hdd meen ik. Moet k ff nakijken. Kan zijn dat die 500gb wel n ssd is maar geen Kingston A2000

[icecreamfarmer]

icecreamfarmer schreef op maandag 24 mei 2021 @ 19:51:
[...]


Ik had het over de usb pass through niet het installeren van docker .
Mijn probleem met het uitzetten van de usb HDD is trouwens opgelost. Heb nu niet de poort maar het apparaat toegewezen aan de VM.

Nu is nog de vraag zal ik:
1. Een tweede externe HDD erbij kopen en ze dan als interne drives configureren en in (software) raid gebruiken? Zodat synology ze configureert en bijhoudt?
2. Bovenstaand plan maar dan een ZFS share aanmaken in proxmox en die vervolgens als disk(s) toewijzen aan synology?
3. Huidige setup gebruiken waarbij ik de externe HDD aan synology hang en hem als usb drive behoud en niet als volume configureer. Daarbij maak ik om de zoveel tijd via een andere externe schijf een backup van de belangrijkste bestanden en leg die vervolgens in de kluis.\


Wat zijn de voordelen en nadelen van optie 1 en 2? Stel dat de VM van synology klapt. Kan ik dan nog bij mijn bestanden? Idem met de installatie van proxmox. Het voordeel van de huidige situatie is dat ik bij het falen van proxmox en de VM ze altijd nog kan uitlezen in een andere (windows) computer.

Deze vraag staat eigenlijk nog steeds open.
Wie kan ik beter de disks laten managen? Proxmox (via raid/zfs) en dan de storage doorzetten naar de VM? Of de disks via passthrough direct doorzetten en dan de NaS VM (OpenMV of xpenology) en die de disks laten regelen en configureren?

Of helemaal geen NAS VM draaien.

[powerboat]

icecreamfarmer schreef op woensdag 9 juni 2021 @ 12:03:
[...]


Deze vraag staat eigenlijk nog steeds open.
Wie kan ik beter de disks laten managen? Proxmox (via raid/zfs) en dan de storage doorzetten naar de VM? Of de disks via passthrough direct doorzetten en dan de NaS VM (OpenMV of xpenology) en die de disks laten regelen en configureren?

Of helemaal geen NAS VM draaien.

Ligt een beetje aan je usecase

[icecreamfarmer]

powerboat schreef op woensdag 9 juni 2021 @ 13:05:
[...]


Ligt een beetje aan je usecase

Moet als backup en media opslag dienen. De plexserver zelf draait op de shield.
Verder draait er nog tailscale, homeassistant en adguard.

[nero355]

icecreamfarmer schreef op woensdag 9 juni 2021 @ 12:03:
Deze vraag staat eigenlijk nog steeds open.
Wie kan ik beter de disks laten managen? Proxmox (via raid/zfs) en dan de storage doorzetten naar de VM? Of de disks via passthrough direct doorzetten en dan de NaS VM (OpenMV of xpenology) en die de disks laten regelen en configureren?

Of helemaal geen NAS VM draaien.

Ik blijf bij deze opmerking : nero355 in "Het grote Proxmox VE topic"

Dus :
- VM opzetten met alle gerelateerde disks op een Passthrough HBA.
- Of gewoon een aparte DIY NAS bouwen.

Mocht er wat gebeuren dan kan je in beide gevallen weer heel snel de boel werkende krijgen!

[powerboat]

Ik denk dat het uiteindelijk niet veel uitmaakt. Maar kwa performance ben je wellicht beter af zoals @nero355 aangeeft.

Backups moet je toch maken op een separate hardware/machine of cloud oplossing

[icecreamfarmer]

nero355 schreef op woensdag 9 juni 2021 @ 16:48:
[...]

Ik blijf bij deze opmerking : nero355 in "Het grote Proxmox VE topic"

Dus :
- VM opzetten met alle gerelateerde disks op een Passthrough HBA.
- Of gewoon een aparte DIY NAS bouwen.

Mocht er wat gebeuren dan kan je in beide gevallen weer heel snel de boel werkende krijgen!

Nadeel van een openmediavault (of fileserver) vm is dat hij veel stroom verbruikt.
Ik probeer nu al maanden om mijn usb hdd via passthrough in een lxc container werkend te krijgen maar dat lukt niet.

Overigens net getest en het verschil in prestaties tussen xpenology en omv VM is enorm.
Bij OMV haal ik 105/105 read write en met xpenology 46/41.
Normaal via usb 129/125.

[nero355]

icecreamfarmer schreef op woensdag 9 juni 2021 @ 19:31:
Nadeel van een openmediavault (of fileserver) vm is dat hij veel stroom verbruikt.

Tja, je moet wat hé...

Hoeveel ruimte heb je eigenlijk nodig
Als het niet teveel is dan zou je nog iets van een NUC of Raspberry Pi achtige oplossing kunnen verzinnen met maar twee HDD's in een Mirror config ??

Zoiets is erg leuk, maar ook erg duur voor een dergelijke oplossing : https://nl.hardware.info/...c-met-plek-voor-twee-hdds

Ik probeer nu al maanden om mijn usb hdd via passthrough in een lxc container werkend te krijgen maar dat lukt niet.

Ik zou dan nog liever twee Externe HDD's aan een Raspberry Pi 4B koppelen en daarmee een DIY NAS draaien

Overigens net getest en het verschil in prestaties tussen xpenology en omv VM is enorm.
Bij OMV haal ik 105/105 read write en met xpenology 46/41.
Normaal via usb 129/125.

Dat is wel vaag inderdaad!

[icecreamfarmer]

nero355 schreef op donderdag 10 juni 2021 @ 16:17:
[...]

Tja, je moet wat hé...
[...]
Hoeveel ruimte heb je eigenlijk nodig
Als het niet teveel is dan zou je nog iets van een NUC of Raspberry Pi achtige oplossing kunnen verzinnen met maar twee HDD's in een Mirror config ??

Zoiets is erg leuk, maar ook erg duur voor een dergelijke oplossing : https://nl.hardware.info/...c-met-plek-voor-twee-hdds


[...]

Ik zou dan nog liever twee Externe HDD's aan een Raspberry Pi 4B koppelen en daarmee een DIY NAS draaien


[...]
[...]
Dat is wel vaag inderdaad!

Nog een keer getest en haal nu 85/80 met xpenology nog steeds fors minder.

[icecreamfarmer]

nero355 schreef op donderdag 10 juni 2021 @ 16:17:
[...]

Tja, je moet wat hé...

Dat klopt. Of xpenology met slechte prestaties maar laag verbruik.
Of OMV met hoge prestaties maar een continue hoger verbruik.

De beste oplossing zou OMV in een LXC container zijn maar ondanks dat het zou moeten werken krijg ik die passthrough niet werkend.

Het is ook meer hobbymatig dan nodig.

Hoeveel ruimte heb je eigenlijk nodig
Als het niet teveel is dan zou je nog iets van een NUC of Raspberry Pi achtige oplossing kunnen verzinnen met maar twee HDD's in een Mirror config ??

Zoiets is erg leuk, maar ook erg duur voor een dergelijke oplossing : https://nl.hardware.info/...c-met-plek-voor-twee-hdds


[...]

Ik zou dan nog liever twee Externe HDD's aan een Raspberry Pi 4B koppelen en daarmee een DIY NAS draaien


[...]

Zoiets heb ik nu. Heb een HP T630 met 2 externe HDD's er aan hangen.
pricewatch: HP t630 thin client X4X22AA

Dat is wel vaag inderdaad!

Nog een keer getest en haal nu 85/80 met xpenology nog steeds fors minder.

[A1AD]

icecreamfarmer schreef op woensdag 9 juni 2021 @ 12:03:
[...]


Deze vraag staat eigenlijk nog steeds open.
Wie kan ik beter de disks laten managen? Proxmox (via raid/zfs) en dan de storage doorzetten naar de VM? Of de disks via passthrough direct doorzetten en dan de NaS VM (OpenMV of xpenology) en die de disks laten regelen en configureren?

Of helemaal geen NAS VM draaien.

Disks op de host managen via ZFS en dan bind mounten naar je LXC's

[icecreamfarmer]

Heeft iemand hier een usb drive as hoofdopslag voor VM's en dergelijke werkend gekregen.
Ik kan een ZFS en/of Directory aan maken maar het moment dat ik hem toewijs aan een VM gaat het fout.
In het begin werkt alles maar na een tijdje disconnect hij.

Bij Directory krijg ik dan deze foutmelding:

TASK ERROR: unable to activate storage 'USBHDD' - directory is expected to be a mount point but is not mounted: '/mnt/pve/USBHDD'


Dit terwijl hij de disk wel blijft zien en ik ook smart data kan ophalen. Rechtstreekse passthrough als usb device werkt wel probleemloos.

Iemand ideeen?

[CurlyMo]

icecreamfarmer schreef op vrijdag 18 juni 2021 @ 14:20:
Heeft iemand hier een usb drive as hoofdopslag voor VM's en dergelijke werkend gekregen.
Ik kan een ZFS en/of Directory aan maken maar het moment dat ik hem toewijs aan een VM gaat het fout.
In het begin werkt alles maar na een tijdje disconnect hij.

Bij Directory krijg ik dan deze foutmelding:

TASK ERROR: unable to activate storage 'USBHDD' - directory is expected to be a mount point but is not mounted: '/mnt/pve/USBHDD'


Dit terwijl hij de disk wel blijft zien en ik ook smart data kan ophalen. Rechtstreekse passthrough als usb device werkt wel probleemloos.

Iemand ideeen?

Werkt het ook niet als je die externe HDD als volgt als storage configureert, bijv:

dir: local
        path /var/lib/vz
        content iso,vztmpl,backup

zfspool: local-zfs
        pool data/vm
        content images,rootdir
        mountpoint /data/vm1
        sparse 1

[icecreamfarmer]

CurlyMo schreef op vrijdag 18 juni 2021 @ 15:27:
[...]

Werkt het ook niet als je die externe HDD als volgt als storage configureert, bijv:

dir: local
        path /var/lib/vz
        content iso,vztmpl,backup

zfspool: local-zfs
        pool data/vm
        content images,rootdir
        mountpoint /data/vm1
        sparse 1

Ik werk via de GUI maar dit lijkt mij niet echt afwijken van wat ik heb. Heel veel keus heb ik ook niet qua instellingen.

[ Voor 4% gewijzigd door icecreamfarmer op 18-06-2021 16:51 ]

[CurlyMo]

icecreamfarmer schreef op vrijdag 18 juni 2021 @ 16:48:
[...]


Ik werk via de GUI maar dit lijkt mij niet echt afwijken van wat ik heb. Heel veel keus heb ik ook niet qua instellingen.

Behalve dat je via de command line dus veel makkelijker elk willekeurig pad kan kiezen.

[icecreamfarmer]

CurlyMo schreef op vrijdag 18 juni 2021 @ 17:08:
[...]

Behalve dat je via de command line dus veel makkelijker elk willekeurig pad kan kiezen.

`
Oke maar ik kan amper met CLI omgaan.

[CurlyMo]

icecreamfarmer schreef op vrijdag 18 juni 2021 @ 17:09:
[...]

`
Oke maar ik kan amper met CLI omgaan.

Tsja, een beetje moeite doen. Complex is deze specifieke aanpassing niet.