|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Inmiddels heb ik de LXC container uit de backup getrokken (eigenlijk alles behalve home assistant) maar ik krijg nog steeds sporadisch opeens dat mn netwerk niet meer vanuit extern bereikbaar is. Iemand suggesties waar ik dit moet zoeken?Koepert schreef op zaterdag 26 februari 2022 @ 18:37:
Ik weet even niet waar dit thuis hoort, maar ik weet niet goed hoe/waar ik dit kan troubleshooten..
Proxmox host. 1 VM Home assistent
2 lxc containers pihole en traefik
Pihole regelt dns via unbound. Traefik de reverse proxy. Eigen domein (transip) naar traefik toe (Cloudflare dns naar public ip).
Elke week backup ik de lxc containers (snapshot, fast en good).. en elke week ergens in de loop van de dag na de backup raakt mijn home Assistant (en de rest) onbereikbaar. Cloudflare geeft een 523 DNS Error. Herstart van de containers kost het vaak op maar heeft iemand dit eerder gehad? Oplossing?
Meer info kan, maar ben nu niet thuis en dat gaat maandag pas worden. (Heb er geen haast mee, want kan er vanaf hier toch niets mee)
// Update
Inmiddels thuis. Het lijkt echt de LXC van Traefik te zijn.. Mijn interne DNS (pihole) lijkt te werken, via Intern IP zijn zaken ook bereikbaar, ik heb intern internet (lees: Pihole handelt DNS af en werkt) alleen Traefik laat niets meer door. Restart van de docker-compose/container van Traefik haalt niets uit (met Force Recreate). ik moet echt de LXC container van Traefik (met daarop ook authelia voor 2FA) herstarten voor ik vanuit extern weer bij mn gewenste zaken kan.. Dus hoewel het in traefik specifiek lijkt te zitten, lijkt me dit veroorzaakt door de Proxmox-bu actie omdat het probleem meer in de LXCcontainer dan in de docker-container lijkt te zitten.
Slaagt de backup wel?Koepert schreef op dinsdag 22 maart 2022 @ 08:54:
[...]
Inmiddels heb ik de LXC container uit de backup getrokken (eigenlijk alles behalve home assistant) maar ik krijg nog steeds sporadisch opeens dat mn netwerk niet meer vanuit extern bereikbaar is. Iemand suggesties waar ik dit moet zoeken?
De Home Assistant VM & de LXC Containers slaagden allemaal. Nu afgelopen weekend alleen de Home Assistant VM. Die slaagt ook. Maar kom er vanochtend achter dat mn Home Assistant Instance vanaf gisteren al niet extern bereikbaar is (via de Traefik LXC Container --> Port forwards).
De trigger leek eerst in de Backups te zitten (qua timing --> dag na backup niet meer bereikbaar) maar daar twijfel ik nu over omdat ik die Traefik container niet meer back-up. Ik merkte het aan Home Assistant met status updates vanaf buiten (mijn telefoon bleef de hele dag 'thuis'). Maar ook wat andere zaken zijn niet meer vanaf extern benaderbaar dus het is niet alleen de HA VM. Nu hangt voor Traefik (of er na?) Authelia voor 2FA, maar het lijkt in de Traefik LXC te zitten. En juist omdat alleen een reboot van die LXC het alleen oplost lijkt mij de zoektocht beginnen bij Proxmox..
Waar draait de storage van de LXC containers op? Ik had eens een NFS share gemaakt en daar de LXC op laten draaien. Dat vond PBS niet leuk en zorgde voor foutieve backups en non responsive containers.Koepert schreef op dinsdag 22 maart 2022 @ 10:25:
[...]
De Home Assistant VM & de LXC Containers slaagden allemaal. Nu afgelopen weekend alleen de Home Assistant VM. Die slaagt ook. Maar kom er vanochtend achter dat mn Home Assistant Instance vanaf gisteren al niet extern bereikbaar is (via de Traefik LXC Container --> Port forwards).
De trigger leek eerst in de Backups te zitten (qua timing --> dag na backup niet meer bereikbaar) maar daar twijfel ik nu over omdat ik die Traefik container niet meer back-up. Ik merkte het aan Home Assistant met status updates vanaf buiten (mijn telefoon bleef de hele dag 'thuis'). Maar ook wat andere zaken zijn niet meer vanaf extern benaderbaar dus het is niet alleen de HA VM. Nu hangt voor Traefik (of er na?) Authelia voor 2FA, maar het lijkt in de Traefik LXC te zitten. En juist omdat alleen een reboot van die LXC het alleen oplost lijkt mij de zoektocht beginnen bij Proxmox..
There are no secrets, only information you do not yet have
De VMs en Containers draaien op een local disk (strikt genomen een partitie van de OS disk --> Proxmox nodes zijn 2 losstaande minipcs met single disk). De Backup schrijf wel naar een NAS --> de VM via NFS de Containers via SMB (lang verhaal, eenvoudigste manier om te splitsen en beide pcs naar dezelfde mappen te laten schrijven zover ik kon nagaan)zeroday schreef op dinsdag 22 maart 2022 @ 11:27:
[...]
Waar draait de storage van de LXC containers op? Ik had eens een NFS share gemaakt en daar de LXC op laten draaien. Dat vond PBS niet leuk en zorgde voor foutieve backups en non responsive containers.
TL;DR: Alles draait op de local storage.
Wat ik me nu net bedenk.. ik heb Uptime Kuma draaien op beide hosts (in een LXC container).. die ene houdt de uptime van een aantal containers in de gaten, die andere (op de 2e host) houdt de uptime van traefik in de gaten . Die geeft nu ook geen kik.. Dus OF het zit ergens in de verbinding dat de containers wel bereikbaar blijven maar geen verkeer kwijt kan, of ergens lijkt het of de route naar buiten dicht valt.. Beide uptime kuma's rapporteren naar een discord server. Terwijl meldingen van Home Assistant wel binnenkomen (of naar buiten zo je wil) van zowel de HA Native app als via Telegram..
[ Voor 29% gewijzigd door Koepert op 22-03-2022 11:56 ]
Dat kreeg ik met geen manier stabiel .. De backup van PBS mag niet direct schrijven naar de NFS/SMB share die ik heb. Nu kan dat inmiddels allang opgelost zijn, want ik draai al vanaf de eerste release mee en in de tussentijd hebben ze heel veel fixes uitgebracht mbt timing en stabiliteit, maar voor mij was de volgende manier de manier om PBS stabiel mijn backups te maken en de containers te laten werken zonder dat ze uitvielen (niet voor niets adviseren ze het stand-alone te laten draaien)Koepert schreef op dinsdag 22 maart 2022 @ 11:35:
[...]
De VMs en Containers draaien op een local disk (strikt genomen een partitie van de OS disk --> Proxmox nodes zijn 2 losstaande minipcs met single disk). De Backup schrijf wel naar een NAS --> de VM via NFS de Containers via SMB (lang verhaal, eenvoudigste manier om te splitsen en beide pcs naar dezelfde mappen te laten schrijven zover ik kon nagaan)
TL;DR: Alles draait op de local storage.
ik heb een 1TB ZFS disk voor PBS in mijn proxmox node aangemaakt en die aan PBS gehangen, dus in feite maakt PBS gewoon op die lokale disk de backup aan. Die store wordt dan in PBS herkend.
Dat is natuurlijk iets wat niet handig is als je node geheel down gaat en jij een backup nodig hebt.
Dus ik heb binnen PBS een sync gemaakt die vanaf de basis store een sync naar een SMB store doet
En hiermee krijg ik dan de backup data ook op mijn NAS.
het duurt even voordat de gehele .chunk folder met de daaronder hangende mapjes zijn aangemaakt, maar het werkt
oh ook een van de dingen die indertijd belangrijk was: de user/group moest persé 'backup:backup' zijn want anders was er ook weinig stabiliteit.
[ Voor 4% gewijzigd door zeroday op 22-03-2022 12:00 ]
There are no secrets, only information you do not yet have
Mja.. Daar kan ik nog eens naar kijken (hoewel het dan externe disk moet ivm interne opties minipcs). Maar ik gebruik PBS niet perse, althans.. Ik zit in de GUI van Proxmox, maak daar een back-up job aan en die schrijf ik naar de gesharede storage'disk' van mn NAS.. (of is dat ook PBS maar dan niet standalone?zeroday schreef op dinsdag 22 maart 2022 @ 11:57:
[...]
Dat kreeg ik met geen manier stabiel .. De backup van PBS mag niet direct schrijven naar de NFS/SMB share die ik heb. Nu kan dat inmiddels allang opgelost zijn, want ik draai al vanaf de eerste release mee en in de tussentijd hebben ze heel veel fixes uitgebracht mbt timing en stabiliteit, maar voor mij was de volgende manier de manier om PBS stabiel mijn backups te maken en de containers te laten werken zonder dat ze uitvielen (niet voor niets adviseren ze het stand-alone te laten draaien)
ik heb een 1TB ZFS disk voor PBS in mijn proxmox node aangemaakt en die aan PBS gehangen, dus in feite maakt PBS gewoon op die lokale disk de backup aan. Wat die store wordt herkend.
Dat is natuurlijk iets wat niet handig is als je node geheel down gaat en jij een backup nodig hebt.
Dus ik heb binnen PBS een sync gemaakt die vanaf de basis store een sync naar een SMB store doet
En hiermee krijg ik dan de backup data ook op mijn NAS.
het duurt even voordat de gehele .chunk folder met de daaronder hangende mapjes zijn aangemaakt, maar het werkt
Dat is dan de interne backup van Proxmox en niet PBSKoepert schreef op dinsdag 22 maart 2022 @ 12:01:
[...]
Mja.. Daar kan ik nog eens naar kijken (hoewel het dan externe disk moet ivm interne opties minipcs). Maar ik gebruik PBS niet perse, althans.. Ik zit in de GUI van Proxmox, maak daar een back-up job aan en die schrijf ik naar de gesharede storage'disk' van mn NAS.. (of is dat ook PBS maar dan niet standalone?)
dan is hetgeen wat ik schreef niet direct van toepassing denk ik
There are no secrets, only information you do not yet have
Ik zit echter tussen 2 versies in nu lijkt het.
Als ik nu nog een keer pve6to7 doe zie ik dat 7 geinstalleerd zou moeten zijn maar zie in dashboard nog steeds 6.4-14. Ik zie in de GUI van de updates ook nog een stel packages staan maar als ik in GUI op ugrade druk krijg ik
The following packages have been kept back:
libpve-access-control libpve-http-server-perl pve-container zfs-initramfs
zfs-zed
Heeft iemand een idee?
Edit:
Het probleem zat ik /etc/apt/sources.list. In de tutorial staat dat je de bestaande repositories moet # en een nieuwe moet toevoegen: deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription
Maar ik moest de rest ook laten staan anders konden packages niet worden geupdate....
[ Voor 18% gewijzigd door tomdh76 op 23-03-2022 12:06 ]
inmiddels een stapje verder.. heb wat getest door een backup van een 2e pihole container te laten lopen (ook LXC).. Het lijkt er op dat bij een backup de internetverbinding (of DNS connectie?) gesloten is, maar niet meer up komt. Pihole2 webGUI niet meer bereikbaar en update kan apt niet 'bereiken' dus lijkt toch ergens een netwerk en niet traefik issue te zijn.zeroday schreef op dinsdag 22 maart 2022 @ 12:04:
[...]
Dat is dan de interne backup van Proxmox en niet PBS
dan is hetgeen wat ik schreef niet direct van toepassing denk ik
Nu nog kijken hoe dat op te lossen..
Normaal gesproken ga ik net zo lang door, totdat ik het zelf heb kunnen oplossen, maar helaas stopt het hier met mijn beperkte kennis van Proxmox.
Ik heb de wiki erbij gepakt om te kijken of die mij de juiste kant op kon helpen, ik heb o.a. deze video bekeken, maar ook die bracht mij niet wat ik hoopte te vinden.
Korte situatie schets:
Ik wilde graag Home Assistant draaien en na wat zoekwerk las ik steeds vaker dat men de RasPi oversloeg en naar een iets zwaardere pc ging (NUC's bv). Toevallig kwam het toen zo uit dat ik vrij goedkoop een HP T630 op de kop kon tikken en toen dacht ik, ja daarmee moet het ook lukken.
Dus na een aantal pogingen Proxmox draaiende gekregen (ook toen al was het Storage deel het struikel punt, kom ik zo op terug
Dit draai ik nu ruim een half jaar zonder echt een probleem te ervaren. Dus wat dat betreft nog heel tevreden. Het is versie 6.4-14 en met mijn setup heb ik een poging gedaan om het zo in te stellen (maar dus sterke twijfel of dit ook is gelukt).
SSD1: 32GB, hierop heb ik Proxmox geinstalleerd.
SSD2: 128GB, dit wilde ik gaan gebruiken als storage voor de VM's (HA).
De twijfel kwam naar voren toen ik de check pve6to7 uitvoerde en daar naar voren kwam dat er minder dan 4GB beschikbaar is, waardoor de upgrade dus niet gaat. Zover ik heb gelezen neemt een Proxmox installatie zeker geen 25+GB in gebruik?
Dit werd nog een keer bevestigd toen ik een backup/snapshot wilde maken van mijn HA VM. Ik heb niet de mogelijkheid om de snapshot weg te schrijven naar SSD2. Ik dacht toen nog, dat zal komen doordat VZDump niet aan staat op SSD2, maar ik heb ook niet de mogelijkheid dat toe te voegen.
Nu heb ik dus ergens een vermoeden, dat ik mijn Storage setup verkeerd heb opgezet, maar ik kom er nu ook niet meer uit hoe ik dit kan corrigeren. I fucked up.
Ik vermoed dat jullie eerst het een en ander moeten weten, om mij verder op weg te helpen. Dus hierbij alvast een poging:
Datacenter > Storage:
- VMDisk (SSD2) -- LVM -- Disk image, container
- local -- Directory -- VZDump backup file, ISO image, Container template
- local-lvm -- LVM-thin -- Disk image, container
Hier zie ik dan weer:
VMDisk: Usage 27% (Size: 128GB / Free: 93GB)
In de HA VM, heb ik dus geprobeerd om 32GB van de 128 GB te reserveren voor deze VM. Volgens mij heb ik dit alleen op de verkeerde manier gedaan, waardoor ik het restant nergens anders meer voor kan gebruiken.
pve: Usage 88% (Size: 31.47GB / Free: 3.89GB)
Jullie zullen bij het lezen van dit verhaal zeer waarschijnlijk meerdere malen denken "Steeldunes heeft bepaalde dingen half of helemaal niet begrepen zoals het werkt" en dat klopt! Weet ik ook zeker
Wat ik uiteindelijk dus graag zou willen bereiken is:
- Mijn storage model corrigeren waar nodig
- De upgrade naar Proxmox 7 uitvoeren
Alle hulp en tips worden zeer gewaardeerd
Saying "um" is the human equivalent of buffering...
En kijk in de webinterface eens onder je node (pve waarschijnlijk) -> local -> backups of daar niet toevallig wel backups staan?
[ Voor 5% gewijzigd door krijn1985 op 29-03-2022 14:34 ]
root@pve:~# lsblk
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
| NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 119.2G 0 disk ├─VMdisk-vm--100--disk--1 253:7 0 4M 0 lvm └─VMdisk-vm--100--disk--0 253:8 0 32G 0 lvm sdb 8:16 0 29.8G 0 disk ├─sdb1 8:17 0 1007K 0 part ├─sdb2 8:18 0 512M 0 part /boot/efi └─sdb3 8:19 0 29.3G 0 part ├─pve-swap 253:0 0 3.6G 0 lvm [SWAP] ├─pve-root 253:1 0 7.3G 0 lvm / ├─pve-data_tmeta 253:2 0 1G 0 lvm │ └─pve-data-tpool 253:4 0 12.8G 0 lvm │ ├─pve-data 253:5 0 12.8G 0 lvm │ └─pve-vm--100--disk--0 253:6 0 32G 0 lvm └─pve-data_tdata 253:3 0 12.8G 0 lvm └─pve-data-tpool 253:4 0 12.8G 0 lvm ├─pve-data 253:5 0 12.8G 0 lvm └─pve-vm--100--disk--0 253:6 0 32G 0 lvm |
root@pve:~# df -h
1
2
3
4
5
6
7
8
9
10
11
| Filesystem Size Used Avail Use% Mounted on udev 1.7G 0 1.7G 0% /dev tmpfs 346M 36M 310M 11% /run /dev/mapper/pve-root 7.1G 3.9G 2.9G 58% / tmpfs 1.7G 40M 1.7G 3% /dev/shm tmpfs 5.0M 0 5.0M 0% /run/lock tmpfs 1.7G 0 1.7G 0% /sys/fs/cgroup /dev/sdb2 511M 312K 511M 1% /boot/efi /dev/fuse 30M 16K 30M 1% /etc/pve /dev/sdc1 30G 960K 30G 1% /media/usb-drive tmpfs 346M 0 346M 0% /run/user/0 |
storage.cfg
1
2
3
4
5
6
7
8
9
10
11
12
13
14
| dir: local path /var/lib/vz content backup,iso,vztmpl lvmthin: local-lvm thinpool data vgname pve content images,rootdir lvm: VMdisk vgname VMdisk content images,rootdir nodes pve shared 0 |
Local (pve) > Backups is leeg
Saying "um" is the human equivalent of buffering...
Nu is mijn LVM kennis nogal mager, maar zou je de output van pvs, vgs en lvs ook nog kunnen geven?
Ik heb het idee dat je LVM over meerdere disks gaat. Ik weet alleen niet of je nu makkelijk je pve-root zou kunnen vergroten zonder dat er dingen kapot gaan.
root@pve:~# pvs
1
2
3
| PV VG Fmt Attr PSize PFree /dev/sda VMdisk lvm2 a-- <119.24g 87.23g /dev/sdb3 pve lvm2 a-- 29.31g 3.62g |
root@pve:~# vgs
1
2
3
| VG #PV #LV #SN Attr VSize VFree VMdisk 1 2 0 wz--n- <119.24g 87.23g pve 1 4 0 wz--n- 29.31g 3.62g |
root@pve:~# lvs
1
2
3
4
5
6
7
| LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert vm-100-disk-0 VMdisk -wi-ao---- 32.00g vm-100-disk-1 VMdisk -wi-ao---- 4.00m data pve twi-aotz-- <12.82g 60.60 1.94 root pve -wi-ao---- 7.25g swap pve -wi-ao---- 3.62g vm-100-disk-0 pve Vwi-a-tz-- 32.00g data 24.27 |
Saying "um" is the human equivalent of buffering...
Zie how to:
YouTube: ProxMox 7.0 Post Install Configuration
KahN
OP draait geen Proxmox VE 7lennon schreef op dinsdag 29 maart 2022 @ 18:43:
Heb je je disk geresized bij de installatie?
Zie how to:
YouTube: ProxMox 7.0 Post Install Configuration
[ Voor 128% gewijzigd door lennon op 29-03-2022 18:49 ]
KahN
De makkelijkste optie is om backup te maken van je VM (op externe schijf bijvoorbeeld) en proxmox opnieuw installeren. De moeilijkere optie is backup maken van je VM kijken of je in ieder geval kan zorgen dat de VM dus op VMdisk staat en dan kijken of je local-lvm (oftwel de data LV te verkleinen (of verwijderen) en de root LV te vergroten. Ik heb hier echter (nog) geen ervaring mee.
Ik heb eerder dat mijn root LV 90 GB is, terwijl na 4,5 jaar draaien ik nog steeds maar 14 GB gebruik. Ik zou mijne dus moeten verkleinen.
orvintax schreef op dinsdag 29 maart 2022 @ 18:37:
Je zou ook nog altijd een backup van die VM kunnen maken *wel* via Proxmox naar een extern medium en die in een nieuwe installatie restoren.
Het was weer even stoeien, maar ook dit is volgens mij gelukt. Voor het eerst dat ik een usb moest toevoegen aan Proxmox, dus het was uitzoeken hoe dat mounten precies werkt. Toen weer gedoe met read-only filesystem blablabla, maar... hij staat erop!krijn1985 schreef op woensdag 30 maart 2022 @ 07:32:
[...]
De makkelijkste optie is om backup te maken van je VM (op externe schijf bijvoorbeeld) en proxmox opnieuw installeren. [...]
een .zst bestand van +-11GB groot
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
| balloon: 1024 bios: ovmf boot: order=scsi0;ide2;net0 cores: 2 cpu: host efidisk0: VMdisk:vm-100-disk-1,size=4M ide2: none,media=cdrom machine: q35 memory: 2048 name: Home-Assistant net0: virtio=36:56:2B:4E:3D:B5,bridge=vmbr0,firewall=1 numa: 0 onboot: 1 ostype: l26 scsi0: VMdisk:vm-100-disk-0,size=32G scsihw: virtio-scsi-pci smbios1: uuid=7b3a846e-6ed3-4188-8595-0cf1ee1dce4a sockets: 1 vmgenid: 82276de4-de9c-47dc-886f-9c3d94db6888 #qmdump#map:efidisk0:drive-efidisk0:VMdisk:raw: #qmdump#map:scsi0:drive-scsi0:VMdisk:raw: |
Nu vraag ik mij alleen of, of het restoren van deze backup straks niet hetzelfde probleem oplevert met hoe ik de harddisk van deze VM heb geprobeerd op te zetten. Zoals je ziet is 32GB van VMdisk toegewezen aan deze node. Heeft het nog nut om deze eerst kleiner te maken? Zodat ook de backup kleiner is?
Saying "um" is the human equivalent of buffering...
Het lijkt er wel echt op dat er dus op je 32GB SSD een vm-disk staat welke (waarschijnlijk) niet meer gebruikt wordt. Deze zou je als het goed is kunnen verwijderen en dan misschien met het filmpje van @lennon nog inspiratie op doen om te proberen je root te vergroten, volgens mij moet dit prima onder 6 werken.Steeldunes schreef op woensdag 30 maart 2022 @ 13:17:
[...]
[...]
Het was weer even stoeien, maar ook dit is volgens mij gelukt. Voor het eerst dat ik een usb moest toevoegen aan Proxmox, dus het was uitzoeken hoe dat mounten precies werkt. Toen weer gedoe met read-only filesystem blablabla, maar... hij staat erop!
een .zst bestand van +-11GB groot
code:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 balloon: 1024 bios: ovmf boot: order=scsi0;ide2;net0 cores: 2 cpu: host efidisk0: VMdisk:vm-100-disk-1,size=4M ide2: none,media=cdrom machine: q35 memory: 2048 name: Home-Assistant net0: virtio=36:56:2B:4E:3D:B5,bridge=vmbr0,firewall=1 numa: 0 onboot: 1 ostype: l26 scsi0: VMdisk:vm-100-disk-0,size=32G scsihw: virtio-scsi-pci smbios1: uuid=7b3a846e-6ed3-4188-8595-0cf1ee1dce4a sockets: 1 vmgenid: 82276de4-de9c-47dc-886f-9c3d94db6888 #qmdump#map:efidisk0:drive-efidisk0:VMdisk:raw: #qmdump#map:scsi0:drive-scsi0:VMdisk:raw:
Nu vraag ik mij alleen of, of het restoren van deze backup straks niet hetzelfde probleem oplevert met hoe ik de harddisk van deze VM heb geprobeerd op te zetten. Zoals je ziet is 32GB van VMdisk toegewezen aan deze node. Heeft het nog nut om deze eerst kleiner te maken? Zodat ook de backup kleiner is?
Ik heb zelf nog nooit een backup weer terug geladen in een nieuwe proxmox installatie, dus ik weet niet zeker of de werkwijze die je nu hebt (met de betreffende .zst file) de correcte is. Kijk dit voor de zekerheid dus even na. Eventueel kun je dit (nu) nog testen of je de backup weer kunt importeren in Proxmox.
Opzich zijn de backups een stuk kleiner dan de schijf hoeveelheid in gebruik/toegewezen. Een VM van mij met ongeveer 50GB disk waarvan 45GB in gebruik heeft een backup file van 20GB. Het probleem waar jij nu tegen aan loopt/liep is dat alleen de de dir local als backup locatie is toegewezen in je storage.conf.
Je kunt kijken of een LVM storage ook de backup functie kan vervullen. Zo ja, dan zou je met het resizen van je pve-root en VMdisk als backup storage gebruiken misschien wel zonder reinstall de boel goed krijgen.
Disclaimer: ik heb dit allemaal niet getest/geprobeerd ooit, dus het is wel allemaal op eigen risico.
Bij een nieuwe installatie moet je dus goed nadenken hoe je precies je storage wilt inrichten.
[ Voor 0% gewijzigd door krijn1985 op 30-03-2022 14:03 . Reden: typo-fix ]
Ik heb een server draaien met proxmox waarop ik diverse VM's etc draai.
Nu wil ik hier eigenlijk een beetje redundantie gaan inbouwen door een tweede en/of derde server te bouwen.
Zodra 1 server faalt moet de tweede de VM's overnemen.
Het lijkt erop dat ik meerdere opties heb:
Ceph:
Voordelen:
Bij het falen van een server geen downtime van de VM's en geen data loss.
Nadelen:
Duur (3 servers, 10GB Nics, veel schijven etc)
ZFS met replicatie
Voordelen:
Goedkoper (2 servers met een Q-device voor een derde vote)
Nadelen:
Data loss aangezien de servers niet altijd gesynchroniseerd zijn.
Mijn voorkeur gaat dan ook naar ZFS met replicatie, maar ben daar nog een beetje zoekende naar mijn ideale setup.
Wil in iedere server twee SSD's in mirror plaatsen.
Heb ik voor het OS nog een aparte SSD nodig, of kan dat ook op deze SSD's?
Kan ik m.b.v. een 10GB netwerkadapter in beide servers de VM's makkelijker/sneller laten repliceren of synchroniseren?
Ubuntu Server (mijn docker host), RAM gebruikt neemt flink af (van +-2GB naar +-700MB) en het CPU gebruik stijgt simultaan. Ik zie via htop niet echt iets bijzonders wat kan duiden op dit vreemde gedrag. Iemand al eens gehad toevallig?
/f/image/MNkovp3JfvEogyRNskmdsWbA.png?f=fotoalbum_large)
i7 9700k + Be-Quiet Dark Rock 4 Pro | Gigabyte Z390 Aorus Ultra | Gigabyte Aorus GTX1080TI | Samsung 970 Pro 512GB + 860 EVO 1TB | 2x8GB DDR4 3000Mhz | Seasonic Platinum 660W | Fractal Design R6 | Acer Predator X34P | M-Audio AV40
IP adres van de controller is hetzelfde gebleven dus ik zie niet echt wat het probleem kan zijn. Is er iemand bekend met dit probleem of enig idee wat ik er aan kan doen?
Blijft ie permanent op 'adopting' staan? Het is namelijk gebruikelijk dat als de controller gestart of geupdate wordt, ie alle netwerkcomponenten gaat adopten en van de meest recente config gaat voorzien.Erwin537 schreef op dinsdag 5 april 2022 @ 18:47:
Voor een nieuw (eerste) servertje ben ik nu aan het experimenteren met Proxmox. Zoals velen in dit topic heb ik nu Unifi (ubiquiti) controller in een docker container staan. Omdat ik nog e.a. aan het proberen was op een test bench zette ik hem telkens uit. Nu merk ik echter dat de docker container voor Unifi dat niet leuk vind. Als ik de controller weer op start en inlog staat mijn access point als 'adopting', terwijl hij toch echt al geadopteerd was.
IP adres van de controller is hetzelfde gebleven dus ik zie niet echt wat het probleem kan zijn. Is er iemand bekend met dit probleem of enig idee wat ik er aan kan doen?
Hij blijft inderdaad permanent op adopting staan. De controller staat nu bijvoorbeeld al ruim een half uur aan en blijft 'adopting' aangeven.Polyphemus schreef op dinsdag 5 april 2022 @ 18:51:
[...]
Blijft ie permanent op 'adopting' staan? Het is namelijk gebruikelijk dat als de controller gestart of geupdate wordt, ie alle netwerkcomponenten gaat adopten en van de meest recente config gaat voorzien.
Heb je de optie "Overwrite inform host with Controller IP/Hostname" goed c.q. aan staan? Wil nog wel eens helpen om eigenwijze devices naar de juiste controller te helpen.Erwin537 schreef op dinsdag 5 april 2022 @ 19:28:
[...]
Hij blijft inderdaad permanent op adopting staan. De controller staat nu bijvoorbeeld al ruim een half uur aan en blijft 'adopting' aangeven.
Overigens kun je beter een Linux container maken en daarin de Unifi controller installeren, want Docker een docker container met daarin VMs is eigenlijk een beetje not done
Hey, dat lijkt het hem te doenPolyphemus schreef op dinsdag 5 april 2022 @ 19:37:
[...]
Heb je de optie "Overwrite inform host with Controller IP/Hostname" goed c.q. aan staan? Wil nog wel eens helpen om eigenwijze devices naar de juiste controller te helpen.
Hoe bedoel je dat? Ik heb nu een LXC gemaakt op basis van ubuntu en daarin een docker unifi container. Je zegt eigenlijk: installeer meteen unifi in die ubuntu LXC?Overigens kun je beter een Linux container maken en daarin de Unifi controller installeren, want Docker een docker container met daarin VMs is eigenlijk een beetje not doneen dubbel op. Scheelt ook weer resources.
Dat laatste, gewoon een "lege"/standaard Ubuntu LXC aanmaken, vanaf de templates die in Proxmox te downloaden zijn, en daarin de Unifi controller installeren vanaf de command line. Scheelt je een Docker installatie in je Ubuntu LXCErwin537 schreef op dinsdag 5 april 2022 @ 20:08:
[...]
Hey, dat lijkt het hem te doenThanks!
[...]
Hoe bedoel je dat? Ik heb nu een LXC gemaakt op basis van ubuntu en daarin een docker unifi container. Je zegt eigenlijk: installeer meteen unifi in die ubuntu LXC?
/edit: Dit is een leuke site, met wat LXCs, ben ik zelf wel fan van
https://tteck.github.io/Proxmox/
[ Voor 8% gewijzigd door Polyphemus op 05-04-2022 20:13 ]
De situatie nu:
* Dell R610 met 6 SSD's van 256GB en 88GB RAM. 1 SSD is voor PVE, de rest voor opslag en wat maar handig is. Voorzien van 4 netwerkaansluitingen, waarvan ik nog uit moet zoeken hoe ik die apart zou kunnen aansturen.
* Een Synology DS211j met 256GB die op een haar na vol zit.
* VEEAM back-ups die nu op de Synology staan (waardoor ik veel verschillende modellen laptops kan voorzien van een verse image)
* Ideeën om bepaalde zaken met een website te gaan doen (voor de opleiding Logistiek een warehouse / webshop pakket, voor mijn ICT-studenten allen een webserver waar zij straks een keer hun eigen pakketje kunnen installeren (WP, een forum o.i.d.)
Wens:
* TrueNAS als een VM opzetten zodat ik die volle 256GB kan omzetten naar een 500GB.
* De schijf/NAS benaderen zoals ik nu de Synology benader met een gedeelde map, door in VEEAM te verwijzen naar \\nas\backup. Zo makkelijk wil ik straks ook naar mijn nieuwe gedeelde map kunnen verwijzen omdat de verwijzing handmatig ingetikt moet worden bij het imagen.
* Webserver als een VM. Nu moet ik er bij zeggen dat ik geen Linux held ben en ik heel graag iets wil hebben om op te klikken, een grafische omgeving dus.
Idee:
1: TrueNAS installeren volgens deze tutorial. Enige waar ik naar op zoek moet is hoe ik die netjes met de verwijzing als hierboven ingesteld krijg.
2: Voor de webserver zou ik een Windows VM aan kunnen maken en daar vervolgend XAMPP op kunnen zetten. Dat maakt het natuurlijk niet zo heel spannend maar wel bekend voor mij, zo'n situatie heb ik nu ook en dat werkt op zich. Ik bereid daar dingen in voor en studenten kunnen hun pagina bereikeb door naar IP-adres/voornaam te gaan. Het mooiste zou eigenlijk zijn dat ze dingen zelf op kunnen gaan zetten zoals je bij een hoster ook zou doen wanneer je een website gaat hosten.
Vragen:
- Is er iemand die iets anders dan TrueNAS zou adviseren? Feitelijk gaat het nu eerst om een gedeelde map voor het makkelijk maken en benaderen van de backups.
- Is het bij het aanmaken van de VM al meteen belangrijk op die "NAS" te noemen of kan dat later in TrueNAS worden ingesteld?
- Ik zag dat voor WordPress ook gebruik gemaakt kan worden van containers. Kan ik een stuk of 10-15 containers naast elkaar draaien die allemaal WP draaien en die allemaal te benaderen zijn via een eigen map? (dus IP-adres/voornaam)
Het heeft natuurlijk zijn voors en tegens. Unifi Controller kun je volgens mij uit een repository van Ubiquiti zelf installeren dus is makkelijk te onderhouden en gaat gewoon met een apt upgrade mee. Maar voor veel software is dat natuurlijk niet het geval en moet je voor elk stuk software weer altijd "uitzoeken" hoe de boel te updaten. Met docker is het gewoon vrij simpel een pull en een start / up en je bent klaar. Daarnaast heeft Docker vrij weinig overhead, dus echt een ramp is het ook niet.Polyphemus schreef op dinsdag 5 april 2022 @ 20:12:
[...]
Dat laatste, gewoon een "lege"/standaard Ubuntu LXC aanmaken, vanaf de templates die in Proxmox te downloaden zijn, en daarin de Unifi controller installeren vanaf de command line. Scheelt je een Docker installatie in je Ubuntu LXC
Je moet alleen de maker van een Docker container wel kunnen vertrouwenRobertMe schreef op dinsdag 5 april 2022 @ 21:20:
[...]
Het heeft natuurlijk zijn voors en tegens. Unifi Controller kun je volgens mij uit een repository van Ubiquiti zelf installeren dus is makkelijk te onderhouden en gaat gewoon met een apt upgrade mee. Maar voor veel software is dat natuurlijk niet het geval en moet je voor elk stuk software weer altijd "uitzoeken" hoe de boel te updaten. Met docker is het gewoon vrij simpel een pull en een start / up en je bent klaar. Daarnaast heeft Docker vrij weinig overhead, dus echt een ramp is het ook niet.
Het is geen ramp nee maar ik vind het persoonlijk geen elegante architectuur. Nested virtualization is iets wat ik liever vermijd. Als je liever Docker gebruikt dan LXCs of VMs ben je naar mijn mening beter af met iets anders (Portainer of Rancher bijvoorbeeld) dan PVE. Maar goed dat is mijn meningRobertMe schreef op dinsdag 5 april 2022 @ 21:20:
[...]
Het heeft natuurlijk zijn voors en tegens. Unifi Controller kun je volgens mij uit een repository van Ubiquiti zelf installeren dus is makkelijk te onderhouden en gaat gewoon met een apt upgrade mee. Maar voor veel software is dat natuurlijk niet het geval en moet je voor elk stuk software weer altijd "uitzoeken" hoe de boel te updaten. Met docker is het gewoon vrij simpel een pull en een start / up en je bent klaar. Daarnaast heeft Docker vrij weinig overhead, dus echt een ramp is het ook niet.
Behalve dan dat zowel LXC als Docker geen virtualisatie zijnorvintax schreef op woensdag 6 april 2022 @ 12:45:
[...]
Het is geen ramp nee maar ik vind het persoonlijk geen elegante architectuur. Nested virtualization is iets wat ik liever vermijd. Als je liever Docker gebruikt dan LXCs of VMs ben je naar mijn mening beter af met iets anders (Portainer of Rancher bijvoorbeeld) dan PVE. Maar goed dat is mijn mening
Ik heb zelf ook met dit vraagstuk gezeten. Ik kwam van TrueNAS af en heb nu Proxmox draaien. Na wat googlen kwam ik de turnkey fileserver template tegen. In basis dus een light NAS container. Middels een truukje (naamgeving van het mountpoint) geef ik de ZFS pool native door aan deze container.sypie schreef op dinsdag 5 april 2022 @ 21:17:
- Is er iemand die iets anders dan TrueNAS zou adviseren? Feitelijk gaat het nu eerst om een gedeelde map voor het makkelijk maken en benaderen van de backups.
Daarna heb ik zelf nog een FTP server geïnstalleerd in die container, als ook Duplicati voor het regelen van externe back-ups van deze ZFS pool.
Ik had alle TrueNAS functionaliteit niet nodig, maar had voldoende aan een samba share. En die zijn prima in te stellen via de webinterface van die turnkey fileserver (Webmin).
Ryzen 9 5900X, MSI Tomahawk MAX, 32GB RAM, Nvidia RTX 4070 Ti | Mijn livesets
Excuus, nested containerization danRobertMe schreef op woensdag 6 april 2022 @ 12:52:
[...]
Behalve dan dat zowel LXC als Docker geen virtualisatie zijnBeiden zijn een manier van proces isolatie waarbij de eerste de processen van / voor een volledig Linux OS isoleert en de ander bedoeld is om één specifiek proces te isoleren.
Inmiddels hier een antwoord op gevonden, misschien niet zoals ik het voorstelde maar wel werkbaar. Nadat ik één WP installatie werkend had, te benaderen via zn eigen IP-adres, heb ik deze CT gedupliceerd (clone). Daarna waren ze beiden met hun eigen IP-adres te benaderen. Hierna nog een aantal keren dit trucje gedaan om zo een stuk of 10 WP CT's te maken. Enige wat ik nog uit moet zoeken is hoe ik de IP-adressen netjes op volgorde krijg. Dat betekent dat ik me even moet verdiepen in IP-adressen.sypie schreef op dinsdag 5 april 2022 @ 21:17:
- Ik zag dat voor WordPress ook gebruik gemaakt kan worden van containers. Kan ik een stuk of 10-15 containers naast elkaar draaien die allemaal WP draaien en die allemaal te benaderen zijn via een eigen map? (dus IP-adres/voornaam)
Het voordeel voor mij om te werken met WP CT's is dat ik ze aan het eind van het schooljaar, of tussendoor bij een fuckup, de CT zo kan verwijderen en terug clonen van een blanco WP CT.
Niet om je weg te jagen, maar dit heeft eigenlijk niks te maken met Proxmox. Ik vermoed dat je misschien betere hulp/antwoorden krijgt bij een relevanter topic.sypie schreef op donderdag 7 april 2022 @ 09:32:
[...]
Inmiddels hier een antwoord op gevonden, misschien niet zoals ik het voorstelde maar wel werkbaar. Nadat ik één WP installatie werkend had, te benaderen via zn eigen IP-adres, heb ik deze CT gedupliceerd (clone). Daarna waren ze beiden met hun eigen IP-adres te benaderen. Hierna nog een aantal keren dit trucje gedaan om zo een stuk of 10 WP CT's te maken. Enige wat ik nog uit moet zoeken is hoe ik de IP-adressen netjes op volgorde krijg. Dat betekent dat ik me even moet verdiepen in IP-adressen.
Het voordeel voor mij om te werken met WP CT's is dat ik ze aan het eind van het schooljaar, of tussendoor bij een fuckup, de CT zo kan verwijderen en terug clonen van een blanco WP CT.
Wat bedoel je verder met: "Enige wat ik nog uit moet zoeken is hoe ik de IP-adressen netjes op volgorde krijg."
Met het op volgorde krijgen van IP-adressen bedoel ik dat ik geen willekeurige adressen via de DHCP krijg maar dat ik zelf handmatig in kan stellen dat het er ongeveer zo uitziet:
WP CT1: 192.168.1.11
WP CT2: 192.168.1.12
WP CT3: 192.168.1.13
WP CT4: 192.168.1.14
Dit omdat het handiger is om de IP-adressen te kunnen onthouden voor mij en mijn studenten. Dat stukje ligt dan wél weer deels buiten Proxmox omdat ik weet waar ik de netwerkinstellingen per CT moet maken, alleen het heeft te maken met mijn beperkte kennis van subnetting. Daar moet ik me dus even in verdiepen om zo de IP-adressen op volgorde te kunnen zetten. Proxmox wil namelijk een IP-adres met een subnet er bij hebben.
@Wasp Ik kwam na mijn bericht ook tegen dat er Turnkey templates zijn. Dit maakt het voor een beginner een flink stuk makkelijk om te volgen en om die CT's aan de praat te krijgen. Mijn NAS-oplossing moet ik nog uitwerken, ik had eerst andere zaken die ik wilde regelen met Proxmox.
Volgens mij denk je te moeilijk wat betreft de IP adressen, maar ik weet niet hoe jij je Proxmox netwerkconfig hebt staan
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Nu ik je probleem snap geef ik je gelijksypie schreef op donderdag 7 april 2022 @ 12:59:
@orvintax Ben ik niet met je eens dat (een deel van) mijn bericht niks met Proxmox te maken heeft. Dit heeft alles te maken met Proxmox aangezien ik daar de CT's in maak. Dat het WP CT's zijn maakt daarin niet zoveel uit, het is uiteindelijk gewoon een aangpaste Linux versie met daarin de eigen database en webserver die op voorhand wordt voorzien van een WP installatie.
Je kunt dit op twee manieren regelen:Met het op volgorde krijgen van IP-adressen bedoel ik dat ik geen willekeurige adressen via de DHCP krijg maar dat ik zelf handmatig in kan stellen dat het er ongeveer zo uitziet:
WP CT1: 192.168.1.11
WP CT2: 192.168.1.12
WP CT3: 192.168.1.13
WP CT4: 192.168.1.14
Dit omdat het handiger is om de IP-adressen te kunnen onthouden voor mij en mijn studenten. Dat stukje ligt dan wél weer deels buiten Proxmox omdat ik weet waar ik de netwerkinstellingen per CT moet maken, alleen het heeft te maken met mijn beperkte kennis van subnetting. Daar moet ik me dus even in verdiepen om zo de IP-adressen op volgorde te kunnen zetten. Proxmox wil namelijk een IP-adres met een subnet er bij hebben.
- Je stelt via je DHCP server (waarschijnlijk je router) een statisch IP in per container. Deze methode heeft van mij de voorkeur omdat ik dan centraal alles kan beheren, ook DNS instellingen enzoverder.
- Via de netwerkinstellingen van je container (Proxmox interface). Deze staat zo te zien nu op DHCP maar dit kun je aanpassen naar een statisch adres.
Ik stel altijd Statische IP adressen in op Server-achtige zaken en gebruik Static DHCP Mappings op basis van het MAC adres als backup optie voor het geval er wat omvalt door een update/upgrade of zoorvintax schreef op donderdag 7 april 2022 @ 16:45:
Je kunt dit op twee manieren regelen:
- Je stelt via je DHCP server (waarschijnlijk je router) een statisch IP in per container. Deze methode heeft van mij de voorkeur omdat ik dan centraal alles kan beheren, ook DNS instellingen enzoverder.
- Via de netwerkinstellingen van je container (Proxmox interface). Deze staat zo te zien nu op DHCP maar dit kun je aanpassen naar een statisch adres.
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Ik zou met DNS aan de slag kunnen gaan, wat voor mij ook weer redelijk wat uitzoekwerk is. Ik weet globaal waar het voor dient. Om het op lokaal niveau in te stellen is nieuw voor mij. Mijn server is/wordt in principe niet bereikbaar vanaf het internet. Het wordt dus echt een intranet. De grootste reden daarvoor is dat ik studenten niet wil verplichten om een website te maken die vervolgens wordt geïndexeerd. Stel dat ze er ooit iets opzetten waar ze later spijt van krijgen.
Ja, ik ben lerende met Proxmox. Nee, ik ben niet nieuw met veel termen die gebruikt worden. Het komt nu alleen bij elkaar: de bekende termen en een omgeving/machine waarop ik hiermee kan gaan stoeien.
Het hele gebeuren is voor mij een leerproces. Wanneer ik zoiets op kan zetten, jaar op jaar, kan ik mijn studenten iets anders gaan aanbieden dan een standaard lespakket. Ik wil namelijk toe naar een situatie waarin veel opdrachten voor de ICT-studenten al digitaal worden gegeven. De uitvoering kan dan variëren van praktisch (PC de- en monteren/installeren) tot het maken van een WordPress website met eigen inhoud. Met VM's die ik op de server kan draaien heb ik zelf de hand in wat er aan software op komt te staan en wat gebruikt kan worden. Een CT of VM simpelweg uitschakelen maakt 'm al onbereikbaar.
Nogmaals : Waarom denk je dat nodig te hebbensypie schreef op donderdag 7 april 2022 @ 19:47:
Om dat met subnetting voor elkaar te krijgen i.c.m. een vast IP-adres is voor mij even uitzoekwerk.
Hoe ziet je netwerkconfig eruit ?!
Installeer DNSmasq en maak wat DNS Records aan voor elk IP dat je toekent = KLAAR!Ik zou met DNS aan de slag kunnen gaan, wat voor mij ook weer redelijk wat uitzoekwerk is.
Ik weet globaal waar het voor dient. Om het op lokaal niveau in te stellen is nieuw voor mij.
Hetzelfde doe ik met Pi-Hole
Dat boeit verder nietMijn server is/wordt in principe niet bereikbaar vanaf het internet. Het wordt dus echt een intranet.
Ik gok dat als je onder je leerlingen rondvraagt dat er een echte medeTweaker tussen zit die het makkelijk voor je kan doen!Ja, ik ben lerende met Proxmox. Nee, ik ben niet nieuw met veel termen die gebruikt worden. Het komt nu alleen bij elkaar: de bekende termen en een omgeving/machine waarop ik hiermee kan gaan stoeien.
Het hele gebeuren is voor mij een leerproces. Wanneer ik zoiets op kan zetten, jaar op jaar, kan ik mijn studenten iets anders gaan aanbieden dan een standaard lespakket. Ik wil namelijk toe naar een situatie waarin veel opdrachten voor de ICT-studenten al digitaal worden gegeven. De uitvoering kan dan variëren van praktisch (PC de- en monteren/installeren) tot het maken van een WordPress website met eigen inhoud. Met VM's die ik op de server kan draaien heb ik zelf de hand in wat er aan software op komt te staan en wat gebruikt kan worden. Een CT of VM simpelweg uitschakelen maakt 'm al onbereikbaar.
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Met netwerkconfig bedoel je die van Proxmox of die van mijn router?
Het DNS verhaal moet ik nog naar gaan kijken. Ik weet wel dat dit makkelijker werkt voor mijn studenten. Laten we eerlijk zijn: piet.lan is makkelijker dan 192.168.1.11 in te tikken.
En nee, er zijn geen studenten die dit sneller of makkelijker voor elkaar krijgen. Het is een Entree-klas (MBO1) waarvan een aantal zeer fervente gamers die denken dat ICT wel iets voor ze is. Het netwerken en knutselen met Proxmox doe ik liever zelf, dan weet ik dat ik aan het eind van de rit nog wat in mijn Proxmox heb staan wat niet weg mag. Daarbij ben ik écht van het uitzoeken en proberen, wanneer het niet lukt nog een keer proberen net zo lang totdat het wél gaat werken. Studenten haken doorgaans al af wanneer het na één keer niet lukt.
Enige nadeel is dat ik alleen op werkdagen bij mijn server kan, omdat het ding nog niet bereikbaar is van buitenaf moet ik het daar eerst even mee doen. Er komt straks vast wel een andere oplossing.
Ehh... tja... eigenlijk beiden, want je zal ze toch op de een of andere manier met elkaar moeten laten kletsen hé!sypie schreef op vrijdag 8 april 2022 @ 16:31:
Met netwerkconfig bedoel je die van Proxmox of die van mijn router?
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Wat die /8 betekend staat hier: https://www.ripe.net/abou...derstanding-ip-addressingsypie schreef op vrijdag 8 april 2022 @ 16:31:
@nero355 Ik dacht het nodig te hebben omdat dit de opmaak is van de vaste IP-adressen die je in een CT moet invoeren. Bijvoorbeeld zo: 1.1.1.1/8 Zonder het subnet krijg je een foutmelding. Wat ik vanochtend gedaan heb is de gewenste IP-adressen ingeklopt en daarachter /8 gezet. (geen idee wat dat uitmaakt of gaat betekenen) Dat werkte, daardoor heb ik dit probleem al omzeild. Alle WP CT's functioneren nu zoals het moet.
@nero355 Waar ik me door in de war liet brengen was onderstaand venster, bij het aanmaken van een CT (of een LXC zoals je wilt). Uiteindelijk maakt het kennelijk weinig uit en kun je een statisch IP-adres opgeven gevolgd door /8. Dit heeft, voor zover ik tot nu toe heb gemerkt, geen enkele invloed op de werking van de CT of voor het netwerk.
:fill(white):strip_exif()/f/image/ymts2fjJ4Q2L27LIdyURIhGC.png?f=user_large)
Inmiddels thuis op mijn Synology ook aan het klooien met Proxmox als een VM. Zo kan ik er net even wat meer in thuis worden zonder dat het mij dure productie-uren kost op school. Uitzoeken doe ik het liefst in de vrije tijd zodat ik het op school zo snel mogelijk voor elkaar kan hebben.
Inmiddels ook Heimdall thuis aan de praat, dat is ook iets wat ik op school ga gebruiken, scheelt een boel IP-adressen onthouden en mijn studenten kunnen sneller naar hun website doorklikken.
EDIT: inmiddels weer 3 stappen verder op mijn thuisnetwerk. Pihole met lokale DNS draait. Dit maakt het ook nog eens makkelijker om met domeinnamen te gaan werken voor mijn studenten.
[ Voor 8% gewijzigd door sypie op 10-04-2022 16:59 ]
Ik weet niet hoe handig dat is op de desbetreffende NAS dus mocht het je problemen opleveren hou er dan rekening mee dat zelfs zoiets prima Proxmox kan draaien voor dezelfde doeleinden : pricewatch: Intel NUC Kit DN2820FYKHsypie schreef op zondag 10 april 2022 @ 10:53:
Inmiddels thuis op mijn Synology ook aan het klooien met Proxmox als een VM.
Zo kan ik er net even wat meer in thuis worden zonder dat het mij dure productie-uren kost op school.
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
De reden waarom ik er nu thuis mee aan het klooien ben is om dingen op te zetten en ervaring op te doen in Proxmox. Dingen zoals Pihole zal ik wel functioneel gaan gebruiken. Die ga ik ook op de Proxmox op school in een CT zetten. Het voordeel is dat ik het nu al een keer gedaan heb en dat ik weet welke stappen ik moet doorlopen, en welke website mij daarbij het beste kan helpen.
Dit is nog steeds niet opgelost. Heeft iemand nog suggesties? De back-ups staan inmiddels allemaal uit op Proxmoxniveau. Toch knalt de externe verbinding naar Home Assistant (via Traefik dus) er nog regelmatig uit. Reboot van de LXC container van Traefik is de enige remedie..Koepert schreef op zaterdag 26 maart 2022 @ 08:06:
[...]
inmiddels een stapje verder.. heb wat getest door een backup van een 2e pihole container te laten lopen (ook LXC).. Het lijkt er op dat bij een backup de internetverbinding (of DNS connectie?) gesloten is, maar niet meer up komt. Pihole2 webGUI niet meer bereikbaar en update kan apt niet 'bereiken' dus lijkt toch ergens een netwerk en niet traefik issue te zijn.
Nu nog kijken hoe dat op te lossen..
Als ik een cronjob wil maken om de traefik container elke nacht om X uur te rebooten, dan moet ik dat op de host doen toch? (i know, geen oplossing, but if it works, it works)
Ik denk dat ik hiermee er dan wel kom: https://forum.proxmox.com/threads/start-lxc-time.89827/
1
| pct reboot (CT-ID) |
als ik hier kijk: https://pve.proxmox.com/pve-docs/pct.1.html
1
2
3
4
5
6
7
8
9
| pct reboot <vmid> [OPTIONS] Reboot the container by shutting it down, and starting it again. Applies pending changes. <vmid>: <integer> (1 - N) The (unique) ID of the VM. --timeout <integer> (0 - N) Wait maximal timeout seconds for the shutdown. |
Of is SHUTDOWN en START de cleanere methode?
[ Voor 33% gewijzigd door Koepert op 12-04-2022 11:02 . Reden: Zelf ook wel wat gevonden ]
Net op 3 nodes gedraaid, maar de diskspace neemt toe ipv af.....?!zeroday schreef op vrijdag 11 maart 2022 @ 10:56:
[...]
ah die tooltjes zijn handig
Removing 22 old kernels .. ai...
Is een herstart noodzakelijk na dit script?
Geen idee ..EverLast2002 schreef op dinsdag 12 april 2022 @ 12:04:
[...]
Net op 3 nodes gedraaid, maar de diskspace neemt toe ipv af.....?!
Is een herstart noodzakelijk na dit script?
in ieder geval zal een herstart ervoor zorgen dat je de laatste kernel gaat draaien ..
mocht je tussen de laatste keer opstarten en nu meerdere (kernel)updates hebben gehad.
There are no secrets, only information you do not yet have
Om even een oude koe uit de gracht te halen:roeleboel schreef op donderdag 14 oktober 2021 @ 15:11:
Ik ben relatief nieuw in het hele proxmox gebeuren (draai het wel al een tijdje maar niet zo veel ervaring mee), kan iemand mij vertellen waar mijn storage naar toe is?
Het gaat over de root-disk, /
du geeft aan 7GB in gebruik,
df geeft aan dat er 76GB in gebruik is...
Hoe zit het nu? waar vind ik al die storage terug?
- de input/output error op de cgroup dir lijkt volgens google niks abnormaals te zijn.
- in /mnt staan mijn externe disks gemount
samengevatte output:
code:
1 2 3 4 root@flock01:/# du -sh --exclude mnt / 7.0G / root@flock01:/# df -h /dev/mapper/pve-root 94G 76G 14G 85% /
volledige output:
code:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 root@flock01:/# du -sh --exclude mnt / du: cannot access './proc/61307/task/61307/fd/3': No such file or directory du: cannot access './proc/61307/task/61307/fdinfo/3': No such file or directory du: cannot access './proc/61307/fd/4': No such file or directory du: cannot access './proc/61307/fdinfo/4': No such file or directory du: cannot access './var/lib/lxcfs/cgroup': Input/output error 7.0G / root@flock01:/# df -h Filesystem Size Used Avail Use% Mounted on udev 32G 0 32G 0% /dev tmpfs 6.3G 1.7M 6.3G 1% /run /dev/mapper/pve-root 94G 76G 14G 85% / tmpfs 32G 43M 32G 1% /dev/shm tmpfs 5.0M 0 5.0M 0% /run/lock /dev/nvme0n1p2 511M 312K 511M 1% /boot/efi /dev/fuse 128M 32K 128M 1% /etc/pve /dev/sda1 916G 392G 478G 46% /mnt/prox_ssd_1t /dev/sdb1 3.5T 2.2T 1.2T 66% /mnt/backups_01 tmpfs 6.3G 0 6.3G 0% /run/user/1000 root@flock01:/#
bovenstaand probleem werd voornamelijk veroorzaakt door een usb-disk die af en toe niet correct wou mounten...
concreet wordt deze disk gemount in /mnt/backups_01
Als die mount echter niet lukt, wordt de storage van / daarvoor aangesproken.
Maar dat kan je dus niet zien op het moment dat die usb-disk wel gemount is: dat wordt 'over die dir heen gelegd'.
Lang verhaal kort:
- unmount van de usb-disk
- nieuwe du gedaan => alle storage (ongeveer 65GB) bleek in /mnt/backups_01 te zitten...
want: backup-script schreef alles vrolijk naar /mnt/backups_01, ongeacht of de mount in orde was...
ondertussen dus het backup-script maar aangepast met een controle dat de mount wel degelijk in orde is.
Eh ok.. als ik in de node-shell dit uitvoer:Koepert schreef op dinsdag 12 april 2022 @ 09:17:
[...]
Dit is nog steeds niet opgelost. Heeft iemand nog suggesties? De back-ups staan inmiddels allemaal uit op Proxmoxniveau. Toch knalt de externe verbinding naar Home Assistant (via Traefik dus) er nog regelmatig uit. Reboot van de LXC container van Traefik is de enige remedie..
Als ik een cronjob wil maken om de traefik container elke nacht om X uur te rebooten, dan moet ik dat op de host doen toch? (i know, geen oplossing, but if it works, it works)
Ik denk dat ik hiermee er dan wel kom: https://forum.proxmox.com/threads/start-lxc-time.89827/
code:
1 pct reboot (CT-ID)
als ik hier kijk: https://pve.proxmox.com/pve-docs/pct.1.html
code:
1 2 3 4 5 6 7 8 9 pct reboot <vmid> [OPTIONS] Reboot the container by shutting it down, and starting it again. Applies pending changes. <vmid>: <integer> (1 - N) The (unique) ID of the VM. --timeout <integer> (0 - N) Wait maximal timeout seconds for the shutdown.
Of is SHUTDOWN en START de cleanere methode?
1
| pct reboot 106 |
Dan reboot mijn container nr 106.. as it should
ik heb als root ook crontab -e gedaan (locatie overigens /tmp/crontab.KZF72b/crontab )
Daarin staat:
1
| 0 4 * * * pct reboot 106 |
Ik had verwacht dus om 4u een reboot te krijgen van container 106..
maar ik krijg een statusmail van de host:
1
| /bin/sh: 1: pct: not found |
Gaan we dat proberenPolyphemus schreef op woensdag 13 april 2022 @ 07:31:
Misschien moet je in je crontab het hele pad van pct zetten, in plaats van alleen pct zelf.
Even aanvulling: dat was inderdaad hoe het moest. Dus die reboot elke nacht werkt. Even los van of dat nu een 'oplossing' is, kijken we dit even aan of het helpt. Ik weet namelijk nog steeds niet waar het door veroorzaakt is, dus ik weet niet of een 'random' reboot het verhelpt, of dat alleen een reboot na een 'vastloper' dit verhelpt..
[ Voor 41% gewijzigd door Koepert op 14-04-2022 08:36 . Reden: Update ]
Ik loop al een tijdje te klieren bij PBS (Proxmox Backup Server), maar krijg t niet voor elkaar.
Ik heb Proxmox 7.1-12 geinstalleerd op de rpool bestaande uit 2x Crucial CT500MX van 500GB in ZFS mirror.
PBS 2.1-5 is geinstalleerd als VM op Proxmox met 4GB RAM en 4 Cores. Geinstalleerd op een ZFS mirror van 2x Gigabyte 2TB NVMe, waarvoor 32GB is toegewezen.
In PBS heb ik via de CLI een NFS van m'n Synology NAS gemount, die is vervolgens in de Datastore ingesteld en daar zichtbaar.
PBS heb ik toegevoegd aan Proxmox (Storage deel onder Datacenter).
Opzich lijkt alles ok. Ik kan bestanden en folders toevoegen aan ie NFS opslag via de CLI in PBS. Deze zijn daarna in de Synology ook te zien.
In Proxmox kan ik ook een backup starten. Deze creert ook folders en 2 .blob bestanden. En ook die zijn in de Synology daarna ook zichtbaar.
Maar.... die .blob bestanden zijn maar enkele kb's groot en zelfs na een paar uur zijn deze niet groter geworden. En de backup job is ook nooit klaar.
Soms crasht de GUI van PBS ook tijdens zo'n backup actie, maar lang niet altijd.
Zowel CT's als VM's voltooien nooit qua backup.
Iemand een idee wat er fout gaat?
Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666
19x Q.Cell G5 325wp op APsystems QS1
het grootste probleem is de wijze waarop je de backup naar je NAS wil hebben.HellStorm666 schreef op donderdag 14 april 2022 @ 15:27:
Heej mede-Tweakers,
Ik loop al een tijdje te klieren bij PBS (Proxmox Backup Server), maar krijg t niet voor elkaar.
Ik heb Proxmox 7.1-12 geinstalleerd op de rpool bestaande uit 2x Crucial CT500MX van 500GB in ZFS mirror.
PBS 2.1-5 is geinstalleerd als VM op Proxmox met 4GB RAM en 4 Cores. Geinstalleerd op een ZFS mirror van 2x Gigabyte 2TB NVMe, waarvoor 32GB is toegewezen.
In PBS heb ik via de CLI een NFS van m'n Synology NAS gemount, die is vervolgens in de Datastore ingesteld en daar zichtbaar.
PBS heb ik toegevoegd aan Proxmox (Storage deel onder Datacenter).
Opzich lijkt alles ok. Ik kan bestanden en folders toevoegen aan ie NFS opslag via de CLI in PBS. Deze zijn daarna in de Synology ook te zien.
In Proxmox kan ik ook een backup starten. Deze creert ook folders en 2 .blob bestanden. En ook die zijn in de Synology daarna ook zichtbaar.
Maar.... die .blob bestanden zijn maar enkele kb's groot en zelfs na een paar uur zijn deze niet groter geworden. En de backup job is ook nooit klaar.
Soms crasht de GUI van PBS ook tijdens zo'n backup actie, maar lang niet altijd.
Zowel CT's als VM's voltooien nooit qua backup.
Iemand een idee wat er fout gaat?
PBS en NFS zijn geen vrienden van elkaar en dat heeft voor een groot gedeelte te maken met de wijze waarop PBS zijn data opslaat.
Ik heb daar een eigen workaround voor gemaakt zodat ik wat minder (lees: geen) last meer heb van dit soort storingen.
Na eerst met NFS gestoeid te hebben kwam ik erachter dat er veel mis ging met de backups. en dat bleek uiteindelijk te liggen aan het feit dat PBS daar best kritisch over is hoe deze de bestanden kan benaderen, kan bewerken, kan verwerken etc. En ik ben dan ook gauw afgestapt van NFS want het bleek ook dat blijkbaar PBS zeer gecharmeerd is van het feit dat de gebruiker/group backup:backup zou moeten zijn.
Nou met SMB is dat redelijk te doen, alleen dat vond ik in eerste aanleg wat te traag gaan met het inrichten. En dat komt dan weer door het volgende
De PBS slaat de backups op in een soort van subfolder structuur die .chunks heet. Ontzettend veel folders met weet ik al niet meer waarin de backups in worden opgeslagen. Daar zit vast een hele logica aan vast, waar ik me nog niet in heb verdiept. Daar zit dan ook je data in zover ik weet. De blobs laten inderdaad niet veel zien, dat zie je eigenlijk alleen in de frontend goed benoemt en niet op de disk zelf.
Uiteindelijk heb ik het volgende gedaan en het verdient niet de schoonheidsprijs, maar het werkt wel.
Ik heb een ZFS store aangemaakt in Proxmox welke onderdeel uitmaakt van de gehele storage en is 1TB
PBS is op die ZFS store aangemaakt en binnen in die store wordt dan door PBS ook een /backup folder aangemaakt met .chunks /ct en /vm
Hiermee bereikte ik een snelle aanmaak van de .chunks folders en kan ik snel backups maken.
Nadeel: als proxmox dood is heb ik geen backups want die staan namelijk op de ZFS Store.
Om dat probleem op te lossen heb ik in PBS een SMB share aangemaakt die naar mijn NAS verwijst
ik heb ervoor gezorgd dat op de NAS een backup user/group is en daar een ruimte aan toegewezen
binnen PBS heb ik deze SMB share toegevoegd en binnen PBS een sync tussen deze 2 datastores (kan gewoon vanuit de GUI) opgezet. Hiermee bereik ik exact het doel wat ik wilde hebben
Ik heb snel de beschikking over de backups vanuit PBS als er een CT of VM down is
En ik heb een backup van de backup op de NAS staan en kan ik de data terughalen als ik bijv. een node uit het cluster down heb.
Wellicht helpt dit iets
[ Voor 1% gewijzigd door zeroday op 15-04-2022 13:48 . Reden: spelltsjekker ]
There are no secrets, only information you do not yet have
Thnx voor de heldere uitleg.zeroday schreef op vrijdag 15 april 2022 @ 13:43:
[...]
het grootste probleem is de wijze waarop je de backup naar je NAS wil hebben.
PBS en NFS zijn geen vrienden van elkaar en dat heeft voor een groot gedeelte te maken met de wijze waarop PBS zijn data opslaat.
Ik heb daar een eigen workaround voor gemaakt zodat ik wat minder (lees: geen) last meer heb van dit soort storingen.
Na eerst met NFS gestoeid te hebben kwam ik erachter dat er veel mis ging met de backups. en dat bleek uiteindelijk te liggen aan het feit dat PBS daar best kritisch over is hoe deze de bestanden kan benaderen, kan bewerken, kan verwerken etc. En ik ben dan ook gauw afgestapt van NFS want het bleek ook dat blijkbaar PBS zeer gecharmeerd is van het feit dat de gebruiker/group backup:backup zou moeten zijn.
Nou met SMB is dat redelijk te doen, alleen dat vond ik in eerste aanleg wat te traag gaan met het inrichten. En dat komt dan weer door het volgende
De PBS slaat de backups op in een soort van subfolder structuur die .chunks heet. Ontzettend veel folders met weet ik al niet meer waarin de backups in worden opgeslagen. Daar zit vast een hele logica aan vast, waar ik me nog niet in heb verdiept. Daar zit dan ook je data in zover ik weet. De blobs laten inderdaad niet veel zien, dat zie je eigenlijk alleen in de frontend goed benoemt en niet op de disk zelf.
Uiteindelijk heb ik het volgende gedaan en het verdient niet de schoonheidsprijs, maar het werkt wel.
Ik heb een ZFS store aangemaakt in Proxmox welke onderdeel uitmaakt van de gehele storage en is 1TB
PBS is op die ZFS store aangemaakt en binnen in die store wordt dan door PBS ook een /backup folder aangemaakt met .chunks /ct en /vm
Hiermee bereikte ik een snelle aanmaak van de .chunks folders en kan ik snel backups maken.
Nadeel: als proxmox dood is heb ik geen backups want die staan namelijk op de ZFS Store.
Om dat probleem op te lossen heb ik in PBS een SMB share aangemaakt die naar mijn NAS verwijst
ik heb ervoor gezorgd dat op de NAS een backup user/group is en daar een ruimte aan toegewezen
binnen PBS heb ik deze SMB share toegevoegd en binnen PBS een sync tussen deze 2 datastores (kan gewoon vanuit de GUI) opgezet. Hiermee bereik ik exact het doel wat ik wilde hebben
Ik heb snel de beschikking over de backups vanuit PBS als er een CT of VM down is
En ik heb een backup van de backup op de NAS staan en kan ik de data terughalen als ik bijv. een node uit het cluster down heb.
Wellicht helpt dit iets
Lijkt mij een prima oplossing inderdaad.
Ik zal dit binnenkort eens testen.
Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666
19x Q.Cell G5 325wp op APsystems QS1
© ocf81 1981-infinity
Live the dream! | Politiek Incorrecte Klootzak uitgerust met The Drive to Survive
Bestrijd de plaag die woke heet! | <X> as a Service --> making you a poor & dependent slave
Leuke templates, maar heb je enig idee wat bijv. de default login is voor pihole? Vraagt via de LXC console naar een pihole login/password, maar heb alle defaults geprobeerd, zonder resultaat. Ik zie het op zijn github pagina ook nergens staan, of kijk ik eroverheen? In de setup (https://github.com/tteck/Proxmox/raw/main/ct/pihole.sh) staat als password "changeme", maar weet dan nog niet wat de login moet zijn. De pihole web interface kom ik wel in, en nee is niet hetzelfde wachtwoord.Polyphemus schreef op dinsdag 5 april 2022 @ 20:12:
[...]
Dat laatste, gewoon een "lege"/standaard Ubuntu LXC aanmaken, vanaf de templates die in Proxmox te downloaden zijn, en daarin de Unifi controller installeren vanaf de command line. Scheelt je een Docker installatie in je Ubuntu LXC
/edit: Dit is een leuke site, met wat LXCs, ben ik zelf wel fan van![]()
https://tteck.github.io/Proxmox/
i7 9700k + Be-Quiet Dark Rock 4 Pro | Gigabyte Z390 Aorus Ultra | Gigabyte Aorus GTX1080TI | Samsung 970 Pro 512GB + 860 EVO 1TB | 2x8GB DDR4 3000Mhz | Seasonic Platinum 660W | Fractal Design R6 | Acer Predator X34P | M-Audio AV40
root / changeme ?Sp33dFr34k schreef op vrijdag 15 april 2022 @ 15:15:
[...]
Leuke templates, maar heb je enig idee wat bijv. de default login is voor pihole? Vraagt via de LXC console naar een pihole login/password, maar heb alle defaults geprobeerd, zonder resultaat. Ik zie het op zijn github pagina ook nergens staan, of kijk ik eroverheen? In de setup (https://github.com/tteck/Proxmox/raw/main/ct/pihole.sh) staat als password "changeme", maar weet dan nog niet wat de login moet zijn. De pihole web interface kom ik wel in, en nee is niet hetzelfde wachtwoord.
Jij bent snel
i7 9700k + Be-Quiet Dark Rock 4 Pro | Gigabyte Z390 Aorus Ultra | Gigabyte Aorus GTX1080TI | Samsung 970 Pro 512GB + 860 EVO 1TB | 2x8GB DDR4 3000Mhz | Seasonic Platinum 660W | Fractal Design R6 | Acer Predator X34P | M-Audio AV40
Sp33dFr34k schreef op vrijdag 15 april 2022 @ 15:18:
[...]
Jij bent snelDamnit, aan root heb ik niet gedacht... thanks!

Nu blijf ik daar problemen mee houden.
Enige manier om een succesvolle backup te maken is handmatig de container stoppen een locale backup maken.
Naar mijn Synology NAS via NFS krijg ik de volgende error(s).
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
| INFO: starting new backup job: vzdump 606 --remove 0 --node pvmain --compress zstd --storage nasstorage --mode snapshot INFO: Starting Backup of VM 606 (lxc) INFO: Backup started at 2022-04-17 13:17:08 INFO: status = running INFO: CT Name: docker INFO: including mount point rootfs ('/') in backup INFO: mode failure - some volumes do not support snapshots INFO: trying 'suspend' mode instead INFO: backup mode: suspend INFO: ionice priority: 7 INFO: CT Name: docker INFO: including mount point rootfs ('/') in backup INFO: temporary directory is on NFS, disabling xattr and acl support, consider configuring a local tmpdir via /etc/vzdump.conf INFO: starting first sync /proc/1026491/root/ to /mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp INFO: first sync finished - transferred 5.13G bytes in 295s INFO: suspending guest INFO: starting final sync /proc/1026491/root/ to /mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp INFO: final sync finished - transferred 179.34M bytes in 15s INFO: resuming guest INFO: guest is online again after 15 seconds INFO: creating vzdump archive '/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tar.zst' INFO: tar: /mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp: Cannot open: Permission denied INFO: tar: Error is not recoverable: exiting now ERROR: Backup of VM 606 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' . | zstd --rsyncable '--threads=1' >/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tar.dat' failed: exit code 2 INFO: Failed at 2022-04-17 13:23:20 INFO: Backup job finished with errors TASK ERROR: job errors |
Ik kan wel gewoon VM's succesvol backuppen naar de Synology.
Heeft de user van proxmox wel de juiste rechten (CRUD)?
Ik heb lang lopen stoeien met die permissies, en has exact hetzelfde. VM gaat goed maar de LXC niet. Stuk makkelijker is SMB te gebruiken ipv NFS. Bij mij lopen de backups foutloos sindsdien.ComTech schreef op zondag 17 april 2022 @ 13:41:
Ik heb diversen LXC containers welke ik uiteraard wil back-uppen
Nu blijf ik daar problemen mee houden.
Enige manier om een succesvolle backup te maken is handmatig de container stoppen een locale backup maken.
Naar mijn Synology NAS via NFS krijg ik de volgende error(s).
code:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 INFO: starting new backup job: vzdump 606 --remove 0 --node pvmain --compress zstd --storage nasstorage --mode snapshot INFO: Starting Backup of VM 606 (lxc) INFO: Backup started at 2022-04-17 13:17:08 INFO: status = running INFO: CT Name: docker INFO: including mount point rootfs ('/') in backup INFO: mode failure - some volumes do not support snapshots INFO: trying 'suspend' mode instead INFO: backup mode: suspend INFO: ionice priority: 7 INFO: CT Name: docker INFO: including mount point rootfs ('/') in backup INFO: temporary directory is on NFS, disabling xattr and acl support, consider configuring a local tmpdir via /etc/vzdump.conf INFO: starting first sync /proc/1026491/root/ to /mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp INFO: first sync finished - transferred 5.13G bytes in 295s INFO: suspending guest INFO: starting final sync /proc/1026491/root/ to /mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp INFO: final sync finished - transferred 179.34M bytes in 15s INFO: resuming guest INFO: guest is online again after 15 seconds INFO: creating vzdump archive '/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tar.zst' INFO: tar: /mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp: Cannot open: Permission denied INFO: tar: Error is not recoverable: exiting now ERROR: Backup of VM 606 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' . | zstd --rsyncable '--threads=1' >/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tar.dat' failed: exit code 2 INFO: Failed at 2022-04-17 13:23:20 INFO: Backup job finished with errors TASK ERROR: job errors
Ik kan wel gewoon VM's succesvol backuppen naar de Synology.
Ik log gewoon in al root dus dat lijkt mij toch voldoende rechten.Deshmir schreef op zondag 17 april 2022 @ 16:09:
@ComTech ik zie een permission denied staan onderaan.
Heeft de user van proxmox wel de juiste rechten (CRUD)?
En met de VM's gaat de backup wel goed naar dezelfde locatie.
Ik had ondertussen al de NFS shares omgezet naar SMB maar krijg nog steeds deze fout.maxxie85 schreef op zondag 17 april 2022 @ 20:12:
[...]
Ik heb lang lopen stoeien met die permissies, en has exact hetzelfde. VM gaat goed maar de LXC niet. Stuk makkelijker is SMB te gebruiken ipv NFS. Bij mij lopen de backups foutloos sindsdien.
1
| ERROR: Backup of VM 605 failed - command 'rsync --stats -h -X -A --numeric-ids -aH --delete --no-whole-file --sparse --one-file-system --relative '--exclude=/tmp/?*' '--exclude=/var/tmp/?*' '--exclude=/var/run/?*.pid' /proc/2784045/root//./ /var/tmp/vzdumptmp2787150_605' failed: exit code 23 |
Als ik mode stop gebruik en niet suspend of snapshot dan gaat het wel goed, voorlopig dat gebruiken dan maar
heb je ook hier al gekeken?ComTech schreef op zondag 17 april 2022 @ 13:41:
Ik heb diversen LXC containers welke ik uiteraard wil back-uppen
Nu blijf ik daar problemen mee houden.
Enige manier om een succesvolle backup te maken is handmatig de container stoppen een locale backup maken.
Naar mijn Synology NAS via NFS krijg ik de volgende error(s).
code:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 INFO: starting new backup job: vzdump 606 --remove 0 --node pvmain --compress zstd --storage nasstorage --mode snapshot INFO: Starting Backup of VM 606 (lxc) INFO: Backup started at 2022-04-17 13:17:08 INFO: status = running INFO: CT Name: docker INFO: including mount point rootfs ('/') in backup INFO: mode failure - some volumes do not support snapshots INFO: trying 'suspend' mode instead INFO: backup mode: suspend INFO: ionice priority: 7 INFO: CT Name: docker INFO: including mount point rootfs ('/') in backup INFO: temporary directory is on NFS, disabling xattr and acl support, consider configuring a local tmpdir via /etc/vzdump.conf INFO: starting first sync /proc/1026491/root/ to /mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp INFO: first sync finished - transferred 5.13G bytes in 295s INFO: suspending guest INFO: starting final sync /proc/1026491/root/ to /mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp INFO: final sync finished - transferred 179.34M bytes in 15s INFO: resuming guest INFO: guest is online again after 15 seconds INFO: creating vzdump archive '/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tar.zst' INFO: tar: /mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp: Cannot open: Permission denied INFO: tar: Error is not recoverable: exiting now ERROR: Backup of VM 606 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tmp' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' . | zstd --rsyncable '--threads=1' >/mnt/pve/nasstorage/dump/vzdump-lxc-606-2022_04_17-13_17_08.tar.dat' failed: exit code 2 INFO: Failed at 2022-04-17 13:23:20 INFO: Backup job finished with errors TASK ERROR: job errors
Ik kan wel gewoon VM's succesvol backuppen naar de Synology.
https://theorangeone.net/...backup-permissions-error/
https://forum.proxmox.com...ackup-task-failing.48565/
There are no secrets, only information you do not yet have
Die ZFS store vanuit Proxmox gemaakt.zeroday schreef op vrijdag 15 april 2022 @ 13:43:
[...]
...
Ik heb een ZFS store aangemaakt in Proxmox welke onderdeel uitmaakt van de gehele storage en is 1TB
PBS is op die ZFS store aangemaakt en binnen in die store wordt dan door PBS ook een /backup folder aangemaakt met .chunks /ct en /vm
Hiermee bereikte ik een snelle aanmaak van de .chunks folders en kan ik snel backups maken.
Nadeel: als proxmox dood is heb ik geen backups want die staan namelijk op de ZFS Store.
Om dat probleem op te lossen heb ik in PBS een SMB share aangemaakt die naar mijn NAS verwijst
ik heb ervoor gezorgd dat op de NAS een backup user/group is en daar een ruimte aan toegewezen
binnen PBS heb ik deze SMB share toegevoegd en binnen PBS een sync tussen deze 2 datastores (kan gewoon vanuit de GUI) opgezet. Hiermee bereik ik exact het doel wat ik wilde hebben
...
Wellicht helpt dit iets
Deze in PBS toegevoegd (als XFS, is dat ok?)
Hoe/waar kan ik die Sync instellen?
Ik vind alleen de optie om dit te doen naar een andere PBS kast.
Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666
19x Q.Cell G5 325wp op APsystems QS1
hier wat plaatjesHellStorm666 schreef op dinsdag 19 april 2022 @ 11:35:
[...]
Die ZFS store vanuit Proxmox gemaakt.
Deze in PBS toegevoegd (als XFS, is dat ok?)
Hoe/waar kan ik die Sync instellen?
Ik vind alleen de optie om dit te doen naar een andere PBS kast.
:fill(white):strip_exif()/f/image/uwqtZEAVE2xzMKYIuImEuTmb.png?f=user_large)
Config van de VM, gemaakt van een van de eerste ISO's
/f/image/CVnRftG2tUTycufQVGV4sX5J.png?f=fotoalbum_large)
de Disk in PBS als Store1
/f/image/1EWWfdJ6oOPlUKBtbgGLxGQb.png?f=fotoalbum_large)
de toegevoegde SMB share als storeSMB via een entry in /etc/fstab in PBS
//10.x.x.xx/Backups/Proxmox /mnt/backup cifs uid=34,gid=34,credentials=/root/smb,iocharset=utf8,vers=3
altijd een beetje pielen of dit juist werkt kan per SMB NAS verschillen
:fill(white):strip_exif()/f/image/ThpuwEDvPsARESvdzoOPTPCy.png?f=user_large)
En dan de sync en hier is de sync gewoon naar zijn eigen local host ..
hier heb ik pas lopen te knoeien omdat ik van een OpenMediaVault NAS naar een TrueNAS over ging
en dat duurde en duurde, en ik was toen vergeten dat de .chunks folder weer aangemaakt werd
:fill(white):strip_exif()/f/image/AiTMJkFfh0uVOstaKvBRcr0D.png?f=user_large)
uiteindelijk synced tie dan store1 met storeSMB (whatever naam je het dan ook maar geeft)
en wordt de storeSMB een kopie van Store1
en als je dan de pruning ook goed instelt dan gaat het allemaal automatiek ..
[ Voor 19% gewijzigd door zeroday op 19-04-2022 12:04 . Reden: verkeerd plaatje ]
There are no secrets, only information you do not yet have
i7 9700k + Be-Quiet Dark Rock 4 Pro | Gigabyte Z390 Aorus Ultra | Gigabyte Aorus GTX1080TI | Samsung 970 Pro 512GB + 860 EVO 1TB | 2x8GB DDR4 3000Mhz | Seasonic Platinum 660W | Fractal Design R6 | Acer Predator X34P | M-Audio AV40
Hoe connect je normaal gesproken: ssh? Gebruik je wachtwoord of ssh key en wat is de melding die je dan krijgt?
Niet toevallig je memory full / cpu/ disk volgelopen in proxmox webgui?
i7 9700k + Be-Quiet Dark Rock 4 Pro | Gigabyte Z390 Aorus Ultra | Gigabyte Aorus GTX1080TI | Samsung 970 Pro 512GB + 860 EVO 1TB | 2x8GB DDR4 3000Mhz | Seasonic Platinum 660W | Fractal Design R6 | Acer Predator X34P | M-Audio AV40
Ook zonder guest agent kan je via de console verbinden. Dan is er iets anders aan de hand. Wat zegt het log als je de VM opnieuw start?Sp33dFr34k schreef op woensdag 20 april 2022 @ 19:50:
@rachez reboot meerdere malen geprobeerd idd, zelfde resultaat. Normaal connect ik via SSH met wachtwoord. Nu vindt ie de host gewoon niet omdat de guest agent niet draait, er is dus niets om naar te connecten dus ik krijg uiteindelijk een timeout. Verder heeft ie meer dan resources genoeg beschikbaar, dus dat is het helaas ook niet.
Als je qm status [nummer van je vm] invoert op de Proxmox console (of via SSH), welke status krijg je terug?
1
| status: running |
i7 9700k + Be-Quiet Dark Rock 4 Pro | Gigabyte Z390 Aorus Ultra | Gigabyte Aorus GTX1080TI | Samsung 970 Pro 512GB + 860 EVO 1TB | 2x8GB DDR4 3000Mhz | Seasonic Platinum 660W | Fractal Design R6 | Acer Predator X34P | M-Audio AV40
Dat is vaag. Ken je het IP-adres van de VM (of kan je die vinden in je router/pingtool subnet scan doen) en kan je die pingen? Zo ja, dan draait de VM als normaal en zit het probleem in KVM/Qemu management. Zo nee, dan is je VM brak en mag je wellicht een backup terugzetten.
Welk OS draait je VM en wat is de config van je VM? Deze kan je uit het [vm-code].conf bestand halen.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
| agent: 1 balloon: 1024 boot: order=scsi0;net0 cores: 6 hostpci0: 00:02,rombar=0,x-vga=1 memory: 8192 name: Ubuntu net0: virtio=FE:15:74:86:74:33,bridge=vmbr0,firewall=1 numa: 0 onboot: 1 ostype: l26 scsi0: SSD:vm-101-disk-0,size=200G scsihw: virtio-scsi-pci smbios1: uuid=11b508dd-558b-4873-be9d-0876a00b9295 sockets: 1 vmgenid: 2dc70802-ff45-476e-85c9-8e0721efe6db |
i7 9700k + Be-Quiet Dark Rock 4 Pro | Gigabyte Z390 Aorus Ultra | Gigabyte Aorus GTX1080TI | Samsung 970 Pro 512GB + 860 EVO 1TB | 2x8GB DDR4 3000Mhz | Seasonic Platinum 660W | Fractal Design R6 | Acer Predator X34P | M-Audio AV40
SE2200+14xSF170S & SE1500M+4xTSM-375
Keer booten zonder passthrough zorgde ervoor dat je de console kan verbinden, EFI kan fixen, of dat de VM alsnog direct naar OS boot. Daarna GPU opnieuw toewijzen hielp meestal.
Oja, en reboot je host voordat je de gpu passthrough weer toekent. Dat brak bij mij weleens de bootloop van de VM. Blijft een fragiel beestje dat gpu passthrough.
[ Voor 18% gewijzigd door Feni op 20-04-2022 20:33 . Reden: reboot ]
@Feni dat klinkt als een plan, ga ik proberen, dankje!
Edit: @Feni dat heeft het probleem met het niet kunnen connecten vanuit de Proxmox console inderdaad verholpen! En ik zie nu ook waarom hij niet doorstart:
1
| Kernel panic - not syncing: VFS: Unable to mount root fs on unknown-block(0,0) |
Geen idee hoe ik dat moet fixen, maar ik ga eens verder googlen, en anders moet ik naar een ander topic op zoek. Thanks voor de hulp
[ Voor 64% gewijzigd door Sp33dFr34k op 20-04-2022 22:15 ]
i7 9700k + Be-Quiet Dark Rock 4 Pro | Gigabyte Z390 Aorus Ultra | Gigabyte Aorus GTX1080TI | Samsung 970 Pro 512GB + 860 EVO 1TB | 2x8GB DDR4 3000Mhz | Seasonic Platinum 660W | Fractal Design R6 | Acer Predator X34P | M-Audio AV40
AMD of Intel CPU gebruikt ?Feni schreef op woensdag 20 april 2022 @ 20:14:
Oja, en reboot je host voordat je de gpu passthrough weer toekent. Dat brak bij mij weleens de bootloop van de VM. Blijft een fragiel beestje dat gpu passthrough.
Schijnt ook nog wat verschil in te zitten qua betrouwbaarheid namelijk...
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
i7 9700k + Be-Quiet Dark Rock 4 Pro | Gigabyte Z390 Aorus Ultra | Gigabyte Aorus GTX1080TI | Samsung 970 Pro 512GB + 860 EVO 1TB | 2x8GB DDR4 3000Mhz | Seasonic Platinum 660W | Fractal Design R6 | Acer Predator X34P | M-Audio AV40
HP Proliant G9 met 2x een E5-2630L v3, zou betrouwbaar genoeg moeten zijn. Alle andere VM's draaien vrolijk door.nero355 schreef op woensdag 20 april 2022 @ 23:21:
[...]
AMD of Intel CPU gebruikt ?
Schijnt ook nog wat verschil in te zitten qua betrouwbaarheid namelijk...
Is die een beetje up-to-date qua BIOS/UEFI en Firmwares en zo ??Feni schreef op donderdag 21 april 2022 @ 10:06:
HP Proliant G9 met 2x een E5-2630L v3, zou betrouwbaar genoeg moeten zijn. Alle andere VM's draaien vrolijk door.
In het begin waren die dingen best wel onbetrouwbaar te noemen namelijk!

Een CentOS of Fedora Live Boot ISO/CD/DVD en een zooitje downloads vanaf de HPE website kunnen je flink helpen om van alles te updaten!
Waarom ik begon over AMD of Intel :
In het verleden heb ik vaak gelezen dat de AMD IOMMU variant (Nu iets van AMD-Vi geloof ik...) minder betrouwbaar is dan de Intel VT-D variant en dan vaak ook nog eens onder VMWare dus ik heb geen idee of dat nog steeds zo is en/of ook voor Proxmox geldt
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Jazeker, het merendeel van de HP updates zit achter aan paywall maar die zijn uiteraard ook uit ..alternatieve.. bronnen te verkrijgen.nero355 schreef op donderdag 21 april 2022 @ 15:06:
[...]
Is die een beetje up-to-date qua BIOS/UEFI en Firmwares en zo ??
De host zelf is super stabiel, het is dat ik af en toe reboot vanwege een kernel update, maar anders had je makkelijk een uptime van 1 jaar of meer kunnen zien. De G6 met 2x een X5660 hiervoor was ook retestabiel, echter deed die geen +/- 250W op idle zoals mijn G9, maar zat die op 550W of meer.. In ieder geval geen vorst in de garage.
Krijg t niet voor elkaar op die manier.zeroday schreef op dinsdag 19 april 2022 @ 11:55:
[...]
hier wat plaatjes
[Afbeelding]
Config van de VM, gemaakt van een van de eerste ISO's
[Afbeelding]
de Disk in PBS als Store1
[Afbeelding]
de toegevoegde SMB share als storeSMB via een entry in /etc/fstab in PBS
//10.x.x.xx/Backups/Proxmox /mnt/backup cifs uid=34,gid=34,credentials=/root/smb,iocharset=utf8,vers=3
altijd een beetje pielen of dit juist werkt kan per SMB NAS verschillen
[Afbeelding]
En dan de sync en hier is de sync gewoon naar zijn eigen local host ..naar de Store1
hier heb ik pas lopen te knoeien omdat ik van een OpenMediaVault NAS naar een TrueNAS over ging
en dat duurde en duurde, en ik was toen vergeten dat de .chunks folder weer aangemaakt werd
[Afbeelding]
uiteindelijk synced tie dan store1 met storeSMB (whatever naam je het dan ook maar geeft)
en wordt de storeSMB een kopie van Store1
en als je dan de pruning ook goed instelt dan gaat het allemaal automatiek ..
Maar.... naar een interne HDD backuppen wil nu wel met BPS.
Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666
19x Q.Cell G5 325wp op APsystems QS1
Heb op dit moment in ESXi een Ubuntu server draaien.
Daarop heb ik Docker draaien.
In Docker heb ik vervolgens het volgende draaien:
Gotify
OpenHAB (met een AEON Z-Wave stick via USB)
Deconz (met Zigbee USB stick. Deconz wordt in OpenHAB weer ingelezen)
DSMR-Reader (met P1 port via COM->USB)
Traefik
Unifi
Portainer
Watchtower
imap-backup
Adminer (geen idee meer waarvoor)
Postgres (geen idee meer waarvoor, denk DSMR)
Sonarr, Radarr, Bazarr welke t een en ander monitoren
SabNZBd welke t een en ander binnen haalt.
In Ubuntu server staat via SMB de folders gemount welke door sonarr, radarr, sab enz. worden gebruikt.
Nu heb ik dus de Proxmox server draaiende en heb ik een mooie ZFS-zraid2 draaien.
Daar moet alles qua films/series/muziek ed op komen.
Dit heb ik gedaan door een LXC op te spinnen met TKL-Fileserver. Hier een mountpoint aan toevoegen (/mnt/hdd) en die locatie via NFS beschikbaar te stellen (Vero 4k+ moet er natuurlijk ook bij kunnen).
Sonarr, Radarr, enz. kunnen dan via NFS bij de bestanden.
Wat is de beste optie?
- Ubuntu opspinnen in Proxmox en daar Docker op zetten en spul overzetten.
- LXC speciaal voor docker opspinnen en dan de data en docker containers kopieren
- Elke 'service' als nieuwe LXC opzetten, data van de docker delen kopieren (of overzetten als de applicatie een backup/restore functie heeft).
- Anders nl.
[ Voor 3% gewijzigd door HellStorm666 op 22-04-2022 15:19 ]
Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666
19x Q.Cell G5 325wp op APsystems QS1
Van Lightweight naar flinke Overhead gesorteerd zou ik zoiets verwachten :HellStorm666 schreef op vrijdag 22 april 2022 @ 15:16:
Wat is de beste optie?
- Ubuntu opspinnen in Proxmox en daar Docker op zetten en spul overzetten.
- LXC speciaal voor docker opspinnen en dan de data en docker containers kopieren
- Elke 'service' als nieuwe LXC opzetten, data van de docker delen kopieren (of overzetten als de applicatie een backup/restore functie heeft).
- Anders nl.
1. Elke 'service' als nieuwe LXC opzetten, data van de docker delen kopieren (of overzetten als de applicatie een backup/restore functie heeft).
2. LXC speciaal voor docker opspinnen en dan de data en docker containers kopieren.
3. Ubuntu opspinnen in Proxmox en daar Docker op zetten en spul overzetten.
In geval van optie #2 heb je ook nog eens die ellende met cgroups en zo...
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Ik zou inderdaad ook losse containers gebruiken voor alle services, als er dan 1 crasht is de schade beperkt.
Daarnaast je usb devices beschikbaar maken middel usb over ip, dan zitten ze ook niet “vast” aan een container.
USB over IP is losse hardware of is dat een optie in proxmox?Deshmir schreef op vrijdag 22 april 2022 @ 17:03:
@HellStorm666
Ik zou inderdaad ook losse containers gebruiken voor alle services, als er dan 1 crasht is de schade beperkt.
Daarnaast je usb devices beschikbaar maken middel usb over ip, dan zitten ze ook niet “vast” aan een container.
Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666
19x Q.Cell G5 325wp op APsystems QS1
Is onderdeel van de linux code; hiero staat een ‘manual’.HellStorm666 schreef op vrijdag 22 april 2022 @ 18:54:
[...]
USB over IP is losse hardware of is dat een optie in proxmox?
Idee is dat je locatie onafhankelijk in je lan de usb devices ergens neer kan zetten.
Is vooral handig met zigbee, die wil je het liefst in het midden, maar om nou je server middenin je huis te zetten is niet altijd een optie.
Deze code stuurt eigenlijk je usb devices rond via tcp/ip
[ Voor 5% gewijzigd door Deshmir op 22-04-2022 19:13 ]
[ Voor 98% gewijzigd door remcoXP op 30-04-2022 10:00 ]
Gadget-freakz.com. Feedback en tips zijn welkom.
[ Voor 9% gewijzigd door Phoolie op 04-05-2022 11:39 ]