There are no secrets, only information you do not yet have
Ik heb deze op ceph storage draaien, daar kan ik gewoon snapshots maken. Volgens mij kan dat ook als je zfs gebruikt.zeroday schreef op donderdag 20 augustus 2020 @ 09:00:
[...]
ah zie ik meteen waarom ik voor niet raw heb gekozen![]()
snapshots ;0

Op ZFS geen probleem idd. Werkt als een zonnetje.powerboat schreef op donderdag 20 augustus 2020 @ 09:09:
[...]
Ik heb deze op ceph storage draaien, daar kan ik gewoon snapshots maken. Volgens mij kan dat ook als je zfs gebruikt.
Ik heb een foutje gemaakt met mijn ZFS configuratie tijdens de opzet van Proxmox. Ik heb al mijn 4 HDD's gekozen voor ZFS ipv 2, terwijl ik die andere 2 voor storage doeleinden wilde gebruiken ..
Maar ja.. servertje draait ok, dus wat nu? ik wil niet van begin af weer beginnen ..
Dusss.. 2e servertje opgetuigd deze gekoppeld aan de proxmox in een cluster en de eerste machines zijn al gemigreerd. Dat zou het dan makkelijk moeten maken om de eerdere server down te gooien, te herinstalleren en dan weer in de cluster te hangen ..
Lijkt 'easy piecy' maar is het ook zo?
There are no secrets, only information you do not yet have
nou .. uiteindelijk wel een probleem, want de proxmox bak die ik heb geherinstalleerd die werd niet meer in de join geaccepteerd. Nu had ik wel gelezen dat je als je een node verwijderd (wat ik niet had gedaan) niet meer met dezelfde naam en ip zou moeten toevoegen), dus ik dacht dat ik gewoon de server wel kon joinen, maar ik kreeg allerlei meldingen dat de node al bestond ..powerboat schreef op vrijdag 21 augustus 2020 @ 16:50:
Ja hoor, stelt niet zo heel veel voor. Alleen duurt het langer als je niet gebruik maakt van shared storage.
Een aantal dingen geprobeerd .. en toen maar gewoon besloten om met wat commando's deze cluster te verwijderen en opnieuw aan te maken
nu nog 1 of 2 VM's van VMWARE weg migreren en dan kan die bak ook naar ProxMox ..
[ Voor 5% gewijzigd door zeroday op 21-08-2020 22:40 ]
There are no secrets, only information you do not yet have
zeroday schreef op vrijdag 21 augustus 2020 @ 22:15:
[...]
nou .. uiteindelijk wel een probleem, want de proxmox bak die ik heb geherinstalleerd die werd niet meer in de join geaccepteerd. Nu had ik wel gelezen dat je als je een node verwijderd (wat ik niet had gedaan) niet meer met dezelfde naam en ip zou moeten toevoegen), dus ik dacht dat ik gewoon de server wel kon joinen, maar ik kreeg allerlei meldingen dat de node al bestond ..
Een aantal dingen geprobeerd .. en toen maar gewoon besloten om met wat commando's deze cluster te verwijderen en opnieuw aan te makendat ging een stukkie sneller ..
nu nog 1 of 2 VM's van VMWARE weg migreren en dan kan die bak ook naar ProxMox ..

Nee, ik heb die machine uitgezet en opnieuw geinstalleerd, dat zou moeten kunnen dacht ik, maar nope...vind cluster config niet leuk, maar goed: alles doet het weer, nu alleen nog twee hdds schoonmaken zodat ze weer gebruikt kunnen worden, zfs vind het niet leuk als die ineens twee pools tegen komt diet rpool heten :-)powerboat schreef op vrijdag 21 augustus 2020 @ 23:42:
[...]
dacht dat je hem al netjes uit het cluster had verwijdert.
update
met de vrije HDD lopen pielen. dacht even slim te zijn om de LVM op de PBS (backup server) groter te maken, maar toen ik dat toch niet zo slim vond .. en terug wilde deed ik allerlei domme dingen die ik niets moest doen.
In het kort:
de NFS server verbinding op proxmox was weg, kaduu,
de backups die op de NFS server via CIFS waren die kon ik niet meer benaderen want de PBS server was door dat geintje ook kaduuk.
Niet slim.
Op zich is niets missen niet erg zolang de machines draaien, dus .. de NFS server opnieuw toevoegen. kostte ook wat zweet want ineens weer rechten problemen.. maar goed, opgelost
Daarna weer nadenken wat ik kon doen met die vrije HDD en heb daar maar een ZFS storage van gemaakt die ik voor en gedeelte aan de VM van PBS heb gegeven zodat daar de backups op kunnen.
Dan later maar via een rsync job dat naar de NAS schrijven of zo ..
In ieder geval in rustiger vaarwater nu
[ Voor 47% gewijzigd door zeroday op 22-08-2020 19:46 ]
There are no secrets, only information you do not yet have
:fill(white):strip_exif()/f/image/iw3lGdzPuFYzYuy0uqtNzNyW.png?f=user_large)
toch wel handig als PBS, het beta backup systeem van Proxmox het geweldig doet.
There are no secrets, only information you do not yet have
VM's gebruiken laatste virtio drivers en proxmox + kernel zijn ook up to date.
Blades zijn 2x 10 Gbit + chassis is verbonden met aan 40 Gbit.
Resultaten die ik op de Windows VM's krijg zijn echt bagger, rond de 150 mbps down en up.
Linux VM's draaien beter, maar ook niet top, rond de 1000 mbps down en up.
Node zelf trekt 8-9 gbps makkelijk.
Iemand die dit ook heeft ervaren of nog steeds ervaart?
Maak je gebruik van local storage of shared storage (NFS/ISCSI)?qwd2 schreef op woensdag 26 augustus 2020 @ 23:32:
Wij ervaren een enorme netwerk bottleneck op onze Windows VM's.
VM's gebruiken laatste virtio drivers en proxmox + kernel zijn ook up to date.
Blades zijn 2x 10 Gbit + chassis is verbonden met aan 40 Gbit.
Resultaten die ik op de Windows VM's krijg zijn echt bagger, rond de 150 mbps down en up.
Linux VM's draaien beter, maar ook niet top, rond de 1000 mbps down en up.
Node zelf trekt 8-9 gbps makkelijk.
Iemand die dit ook heeft ervaren of nog steeds ervaart?
SAS schijven die lokaal draaien, iedere blade heeft zijn schijven.powerboat schreef op woensdag 26 augustus 2020 @ 23:39:
[...]
Maak je gebruik van local storage of shared storage (NFS/ISCSI)?
Heb je gekeken of proxmox i/o delay heeft? Zo ja, dan zijn je disken of de controller te langzaam.qwd2 schreef op woensdag 26 augustus 2020 @ 23:41:
[...]
SAS schijven die lokaal draaien, iedere blade heeft zijn schijven.
Zou het? Want als ik direct vanuit de node een speedtestje draai haal ik toch echt 8-gbps misschien wel volle 10gbpspowerboat schreef op donderdag 27 augustus 2020 @ 00:20:
[...]
Heb je gekeken of proxmox i/o delay heeft? Zo ja, dan zijn je disken of de controller te langzaam.
Heb weleens gemerkt als je een te hoge i/o delay had, dat de host niet voorruit te branden is op alle fronten o.a. ook netwerk.qwd2 schreef op donderdag 27 augustus 2020 @ 00:36:
[...]
Zou het? Want als ik direct vanuit de node een speedtestje draai haal ik toch echt 8-gbps misschien wel volle 10gbps
Wat ik niet goed kan vinden is wel of niet ZFS.
De "beginners tutorial" van proxmox zegt ; geen ZFS, gebruik gewoon 3 schijven: 1 voor OS, 1 voor VM en 1 voor ISO's van OS. Dat laatste lijkt me niet zo zinvol, enige ISO die ik wrsch nodig heb is van ubuntu of debian.
Nu dacht ik zelf aan een build met 2 nvme SSD (samsung evo) van 500 gb en dan ZFS raid 1. En daarop alles zetten (mijn esxi gebruikt nu 250 gb dus moet passen). Als ik het goed begrijp is het dan als 1 ssd stuk gaat geen probleem, en zet je een nieuwe erin.
Maar de proxmox tutorial zegt dus: geen ZFS. Dan zou ik dus 1 schijf voor OS gebruiken (maar is 500 gb dan niet erg veel en heb je veel loze ruimte; zelfs 250 Gb is dan toch gigantische schijf voor alleen het OS) en 1 schijf voor de VM.
Moet ik de tutorial volgen of eigenwijs zijn en ZFS opzetten (dit is toch gewoon vanuit GUI te doen bij install?)
Heb je een linkje naar die tutorial pagina van Proxmox?tomdh76 schreef op vrijdag 28 augustus 2020 @ 13:15:
Maar de proxmox tutorial zegt dus: geen ZFS. Dan zou ik dus 1 schijf voor OS gebruiken (maar is 500 gb dan niet erg veel en heb je veel loze ruimte; zelfs 250 Gb is dan toch gigantische schijf voor alleen het OS) en 1 schijf voor de VM..
Sinds de 2 dagen regel reageer ik hier niet meer
Tuurlijk:CurlyMo schreef op vrijdag 28 augustus 2020 @ 13:25:
[...]
Heb je een linkje naar die tutorial pagina van Proxmox?
https://forum.proxmox.com...econdary-hard-disk.59559/
En dan onder kopje FAQ:
I have heard the ZFS filesystem is better to use in Proxmox, is this true?
Most people will say this is true. However, with this tutorial we really wanted to stick to the basics. ZFS is more complicated to get working and also has several (hardware) requirements. We did not want to go into detail about this because it would make the tutorial much more advanced. We recommend doing some research before using ZFS on Proxmox. See the following link for more information: https://pve.proxmox.com/wiki/ZFS_on_Linux
Okay ze zeggen dat het kan maar raden het een beginner (zoals ik ben) niet aan....
Geplaatst door een beginnend forum lid met exact 3 berichten. Namelijk die 'tutorial'
Ik zou beginnen mijn je eisen en daar een passende oplossing voor zoeken. Als ZFS dat is, dan neem je ZFS en probeer je je erin te verdiepen. Zorg dan dat je niet direct op volledige productie draait, maar eerst eens jezelf een periode geeft om kennis te maken.Okay ze zeggen dat het kan maar raden het een beginner (zoals ik ben) niet aan....
Toen ik overstapte van ESXi naar Proxmox, heb ik dat ook een maandje gedaan door een Proxmox testsysteem naast ESXi te draaien totdat ik me vertrouwd genoeg voelde met Proxmox.
Sinds de 2 dagen regel reageer ik hier niet meer
Thx, ja dat was ik sowieso van plan om ze beiden naast elkaar te draaien in het begin. En dan langzaam aan over. Maar dat ZFS is nogal bepalend denk ik voor de hardware die ik moet gaan kopen. Als ik proxmox op een losse disk zet zonder ZFS zou dit ook een kleine SSD kunnen zijn van 64 gb (alhoewel die niet makkelijk te koop zijn meer... )CurlyMo schreef op vrijdag 28 augustus 2020 @ 13:32:
[...]
Geplaatst door een beginnend forum lid met exact 3 berichten. Namelijk die 'tutorial'
[...]
Ik zou beginnen mijn je eisen en daar een passende oplossing voor zoeken. Als ZFS dat is, dan neem je ZFS en probeer je je erin te verdiepen. Zorg dan dat je niet direct op volledige productie draait, maar eerst eens jezelf een periode geeft om kennis te maken.
Toen ik overstapte van ESXi naar Proxmox, heb ik dat ook een maandje gedaan door een Proxmox testsysteem naast ESXi te draaien totdat ik me vertrouwd genoeg voelde met Proxmox.
Mijn proxmox OS+VM+ISO SSD (250 GB NVME liteon) is ondertussen op 20% wear, dus ik zit er ook over na te denken om een OS SSD+VM SSD te nemen en de ISO's & snapshots gewoon op de ZFS pool te zetten.
Mijn eerste Proxmox build komt eraan.
Nuc10i5, 32gb, 1TB nvme.
Denk dat ik wat vaker hier ben...
[ Voor 1% gewijzigd door Andre_J op 28-08-2020 18:43 . Reden: Typo ]
Eenmaal ingericht heb je er weinig omkijken meer naar anders dan zo af en toe je host updaten en je onderliggende VM’s en containers. Dus zo vaak hoef je hier niet te komenAndre_J schreef op vrijdag 28 augustus 2020 @ 18:43:
Zo,
Mijn eerste Proxmox build komt eraan.
Nuc10i5, 32gb, 1TB nvme.
Denk dat ik wat vaker hier ben...
[ Voor 5% gewijzigd door Miki op 28-08-2020 18:47 ]
Voor de gezelligheidMiki schreef op vrijdag 28 augustus 2020 @ 18:45:
[...]
Eenmaal ingericht heb je er weinig omkijken meer naar anders dan zo af en toe je host updaten en je onderliggende VM’s en containers. Dus zo vaak hoef je hier niet te komen
De juiste benaming is RaidZ1.XanderHuisman schreef op vrijdag 28 augustus 2020 @ 14:06:
Ik heb afgelopen weekend een raid 5 opstelling (3x 4TB WD Red) omgezet naar ZFS-1. Deze pool gebruik ik als data opslag van mijn VM en is via NFS gekoppeld.
Mijn proxmox OS+VM+ISO SSD (250 GB NVME liteon) is ondertussen op 20% wear, dus ik zit er ook over na te denken om een OS SSD+VM SSD te nemen en de ISO's & snapshots gewoon op de ZFS pool te zetten.
- Deze advertentie is geblokkeerd door Pi-Hole -
En zelfs dat hoeft niet als je de debian auto-update functie aanzet ;-)Miki schreef op vrijdag 28 augustus 2020 @ 18:45:
[...]
Eenmaal ingericht heb je er weinig omkijken meer naar anders dan zo af en toe je host updaten en je onderliggende VM’s en containers. Dus zo vaak hoef je hier niet te komen
Je loopt dan wel het risico om wat vaker in dit topic te komen als er iets mis gaat met updatenDutch2007 schreef op zaterdag 29 augustus 2020 @ 11:22:
[...]
En zelfs dat hoeft niet als je de debian auto-update functie aanzet ;-)
Zal aan 't systeem vaak dan liggenMiki schreef op zaterdag 29 augustus 2020 @ 12:07:
[...]
Je loopt dan wel het risico om wat vaker in dit topic te komen als er iets mis gaat met updaten
Heb 't voor de "hobbie" draaien, en met de auto update functie aan, loopt 't al 6+ maanden (eerder een jaartje of 2 gewoon stabiel met automatische update aan)
pvestatd
stopt met werken maar er geen signaal over geeft?
:fill(white):strip_exif()/f/image/LDZ4usM9bWVQm1WGDDGCSWxy.png?f=user_large)
pvestad herstart en ik krijg weer output in mijn omgeving. Gold trouwens voor 2 nodes in mijn clustertje..
alle statistieken van de summary 'leeg' voor die uren
There are no secrets, only information you do not yet have
Was even wat uitzoeken als je vanaf vmware komt.
Kort met lxc gespeeld en docker daarbinnen geïnstalleerd.
Ging nog niet helemaal vlot, iets met cgroups errors, moet ik nog induiken.
En anders een kleine vm met daarbinnen docker....
Check dat deze features aanstaan:Andre_J schreef op maandag 31 augustus 2020 @ 22:29:
Kort met lxc gespeeld en docker daarbinnen geïnstalleerd.
Ging nog niet helemaal vlot, iets met cgroups errors, moet ik nog induiken.
keyctl=1,nesting=1
Bron:
https://discuss.linuxcont...container-in-proxmox/3828
- Deze advertentie is geblokkeerd door Pi-Hole -
Beide stonden aan maar helaas.A1AD schreef op maandag 31 augustus 2020 @ 22:42:
[...]
Check dat deze features aanstaan:
keyctl=1,nesting=1
Bron:
https://discuss.linuxcont...container-in-proxmox/3828
Wellicht zit het in mijn LXC container, die was van Alpine Linux.
Net een gewone vm met Alpine Linux geïnstalleerd en daarbinnen docker, en dat gaat probleemloos.
Ah ja, dat heb ik ook geprobeerd en inderdaad niet aan de praat te krijgen. Alpine gebruikt compleet andere cgroups dan andere Linux distro's (of in ieder geval: dan Debian). Ikzelf draai nu Debian binnen LXC en dan matchen de cgroups wel en gaat het gewoon goed.Andre_J schreef op dinsdag 1 september 2020 @ 23:46:
[...]
Beide stonden aan maar helaas.
Wellicht zit het in mijn LXC container, die was van Alpine Linux.
Net een gewone vm met Alpine Linux geïnstalleerd en daarbinnen docker, en dat gaat probleemloos.
Gebruik Proxmox nu een maandje ofzo maar ben er erg tevreden over! Heb een simpele setup met 1 node, maar dat mag de pret niet drukken
Klein en lichtgewicht, in een paar minuten opgezet.
Alleen zwaarder voor je systeem en dus onzuiniger.Andre_J schreef op woensdag 2 september 2020 @ 18:57:
Ik blijf denk ik bij m’n Alpine vm met docker.
Klein en lichtgewicht, in een paar minuten opgezet.
Sinds de 2 dagen regel reageer ik hier niet meer
Zwaarder in welke vorm?CurlyMo schreef op woensdag 2 september 2020 @ 19:11:
[...]
Alleen zwaarder voor je systeem en dus onzuiniger.
Alpine als OS neemt nagenoeg geen diskruimte in en het geheugen gebruik is met alleen docker en de qemu agent erop ook niet veel.
Ik geef toe met LXC heb ik geen ervaring maar is dat daar beter/anders ?
KVM verbruikt voor hetzelfde meer CPU en geheugen. Dat komt omdat er geen processen gedeeld worden met het host OS, maar er een compleet OS wordt opgezet.Andre_J schreef op woensdag 2 september 2020 @ 19:15:
[...]
Zwaarder in welke vorm?
Alpine als OS neemt nagenoeg geen diskruimte in en het geheugen gebruik is met alleen docker en de qemu agent erop ook niet veel.
Ik geef toe met LXC heb ik geen ervaring maar is dat daar beter/anders ?
Toen ik dat soort hardware virtualisatie draaide op ESXi kwam ik geheugen tekort met 16GB. Toen ik overstapte op alles in LXC container had ik heel veel geheugen over
Sinds de 2 dagen regel reageer ik hier niet meer
ook als ik proxmox de opdracht geef om de machine dan maar geheel te stoppen dan doet ie dat niet
ik moet echt een kill -9 geven om het proces af te breken
Liever doe ik dat niet maar ik zou willen weten in elke richting ik dan moet zoeken ..
There are no secrets, only information you do not yet have
Sinds de 2 dagen regel reageer ik hier niet meer
Ik ga het nog eens een poging geven maar dan met Debian LXC.CurlyMo schreef op woensdag 2 september 2020 @ 19:38:
[...]
KVM verbruikt voor hetzelfde meer CPU en geheugen. Dat komt omdat er geen processen gedeeld worden met het host OS, maar er een compleet OS wordt opgezet.
Toen ik dat soort hardware virtualisatie draaide op ESXi kwam ik geheugen tekort met 16GB. Toen ik overstapte op alles in LXC container had ik heel veel geheugen over
Schijfruimte is niet het probleem, geheugen wellicht in de toekomst wel.....
beide al geprobeerdCurlyMo schreef op woensdag 2 september 2020 @ 20:40:
@zeroday Is dat een shutdown in je container of vanuit proxmox?
There are no secrets, only information you do not yet have
Je doet je sig. eer aan, we hebben veel te weinig info. Welk OS, wat staat er op geïnstalleerd, waar blijft hij hangen? Logs?
- Deze advertentie is geblokkeerd door Pi-Hole -
mja.. je hebt gelijk .. maar je woorden hebben wel wat uitgestraald. ik geef nu een /sbin/halt en daarna een stop op proxmox en dat kreng doet het nu ineens goed..A1AD schreef op donderdag 3 september 2020 @ 07:11:
[...]
Je doet je sig. eer aan, we hebben veel te weinig info. Welk OS, wat staat er op geïnstalleerd, waar blijft hij hangen? Logs?
There are no secrets, only information you do not yet have
Ehm, dan doe je dus hetzelfde als je kill methode maar kill je nu van binnen lxc.zeroday schreef op donderdag 3 september 2020 @ 08:03:
[...]
mja.. je hebt gelijk .. maar je woorden hebben wel wat uitgestraald. ik geef nu een /sbin/halt en daarna een stop op proxmox en dat kreng doet het nu ineens goed..
Sinds de 2 dagen regel reageer ik hier niet meer
Ben er helemaal blij mee.
Ik schiet al flink op me de inrichting ervan.
Een paar vm’s, lxc met docker (bedankt voor de tips).
Backup geregeld, ja ook van de host.
Verder nog aan het bouwen met machientjes.....
Oh vertel, host. Hoe?Andre_J schreef op vrijdag 4 september 2020 @ 18:44:
Wat een verademing is Proxmox zeg.
Ben er helemaal blij mee.
Ik schiet al flink op me de inrichting ervan.
Een paar vm’s, lxc met docker (bedankt voor de tips).
Backup geregeld, ja ook van de host.
Verder nog aan het bouwen met machientjes.....
There are no secrets, only information you do not yet have
ZFS send/receive? Dat is hoe ik het doe.
Sinds de 2 dagen regel reageer ik hier niet meer
Backup naar m’n nas met cifs/smb
En voor de host config gebruik ik.
https://gist.github.com/m...04f43ce57fa7eaee96d376edf
Wat gebruik je daarvoor dan als ik vragen mag?CurlyMo schreef op zaterdag 5 september 2020 @ 08:21:
[...]
ZFS send/receive? Dat is hoe ik het doe.
ah ik zie hierboven ook een script.. eens kijken of dat interessant is
[ Voor 14% gewijzigd door zeroday op 05-09-2020 13:15 ]
There are no secrets, only information you do not yet have
Host netwerk
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
| auto eno1 iface eno1 inet manual auto eno1.34 iface eno1.34 inet manual auto vmbr0 iface vmbr0 inet static address XXX.XXX.XXX.XXX/24 gateway XXX.XXX.XXX.XXX bridge-ports eno1 bridge-stp off bridge-fd 0 bridge-vlan-aware yes bridge-vids 2-4094 auto vmbr1 iface vmbr1 inet static address XXX.XXX.XXX.XXX/24 bridge-ports none bridge-stp off bridge-fd 0 auto vmbr2 iface vmbr2 inet manual bridge-ports eno1.34 bridge-stp off bridge-fd 0 |
VLAN 34 = Glasvezel internet
VMBR0 = Regulier LAN
VMBR1 = Proxmox intern netwerk
VMBR2 = Internet
OpenWRT KWM netwerk
1
2
3
| net0: virtio=E2:D8:CD:BB:B7:FE,bridge=vmbr0 net1: virtio=5E:A9:11:4D:E3:9E,bridge=vmbr1 net2: virtio=AA:BB:CC:DD:DD:EE,bridge=vmbr2 |
Verdere configuratie is binnen OpenWRT vrij voor de hand liggend. In kreeg het (op basis van VLAN) niet werkend in een LXC container. Op een of andere manier wilde de routing tussen VLAN1 en VLAN34 niet werken.
Het werkt nu ook binnen mijn LXC container. Probleem was dat mijn firewall regels niet geladen werden. Daarvoor moet ik een bestand aanmaken /lib/preinit/99_firewall_lxc_workaround met de volgende inhoud:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
| #!/bin/sh # Copyright (C) 2006 OpenWrt.org firewall_lxc_workaround() { local tt for tt in filter nat mangle raw ; do { grep ${tt} /proc/net/ip6_tables_names || /usr/sbin/ip6tables -t ${tt} -L grep ${tt} /proc/net/ip_tables_names || /usr/sbin/iptables -t ${tt} -L } >/dev/null 2>/dev/null done } boot_hook_add preinit_main firewall_lxc_workaround |
https://github.com/openwrt/openwrt/pull/2525
Daarna de firewall herstarten en alles werkt
[ Voor 25% gewijzigd door CurlyMo op 06-09-2020 11:11 ]
Sinds de 2 dagen regel reageer ik hier niet meer
Waarom heb ik hier geen last van?CurlyMo schreef op zaterdag 5 september 2020 @ 18:05:
Het werkt nu ook binnen mijn LXC container. Probleem was dat mijn firewall regels niet geladen werden. Daarvoor moet ik een bestand aanmaken /lib/preinit/99_firewall_lxc_workaround met de volgende inhoud:
code:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 #!/bin/sh # Copyright (C) 2006 OpenWrt.org firewall_lxc_workaround() { local tt for tt in filter nat mangle raw ; do { grep ${tt} /proc/net/ip6_tables_names || /usr/sbin/ip6tables -t ${tt} -L grep ${tt} /proc/net/ip_tables_names || /usr/sbin/iptables -t ${tt} -L } >/dev/null 2>/dev/null done } boot_hook_add preinit_main firewall_lxc_workaround
https://github.com/openwrt/openwrt/pull/2525
Daarna de firewall herstarten en alles werkt
- Deze advertentie is geblokkeerd door Pi-Hole -
Zeg het maar?
Sinds de 2 dagen regel reageer ik hier niet meer
Ik vraag me af wat het verschil is tussen onze setups waardoor mijn firewall wel naar behoren werkt.
- Deze advertentie is geblokkeerd door Pi-Hole -
Zeg het maarA1AD schreef op vrijdag 11 september 2020 @ 21:18:
[...]
Ik vraag me af wat het verschil is tussen onze setups waardoor mijn firewall wel naar behoren werkt.
Sinds de 2 dagen regel reageer ik hier niet meer
Wat is dit / waar zit dit? Dit is een KVM netwerk config geen LXC config?CurlyMo schreef op zaterdag 5 september 2020 @ 18:05:
Zo mijn OpenWRT router op basis van 1 LAN interface werkt eindelijk
OpenWRT KWM netwerk
code:
1 2 3 net0: virtio=E2:D8:CD:BB:B7:FE,bridge=vmbr0 net1: virtio=5E:A9:11:4D:E3:9E,bridge=vmbr1 net2: virtio=AA:BB:CC:DD:DD:EE,bridge=vmbr2
Toon is heel je "/etc/pve/lxc/xxx.conf" van je OpenWRT LXC aub.
[ Voor 7% gewijzigd door A1AD op 11-09-2020 21:33 ]
- Deze advertentie is geblokkeerd door Pi-Hole -
A1AD schreef op vrijdag 11 september 2020 @ 21:32:
[...]
Wat is dit / waar zit dit? Dit is een KVM netwerk config geen LXC config?
Toon is heel je "/etc/pve/lxc/xxx.conf" van je OpenWRT LXC aub.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
| arch: amd64 cores: 1 hostname: router memory: 512 net0: name=eth0,bridge=vmbr0,hwaddr=E6:B5:CB:B3:0B:3A,ip=dhcp,ip6=dhcp,type=veth net1: name=wan0,bridge=vmbr2,hwaddr=8A:2D:3A:B6:34:0A,ip=dhcp,ip6=dhcp,type=veth net2: name=eth1,bridge=vmbr1,firewall=1,hwaddr=AA:BB:CC:DD:DD:EE,ip=dhcp,ip6=dhcp,type=veth onboot: 1 ostype: unmanaged rootfs: local-zfs:subvol-114-disk-0,size=1G startup: order=1,up=1,down=30 swap: 512 unprivileged: 1 lxc.mount.entry: /dev/net dev/net none bind,create=dir |
Sinds de 2 dagen regel reageer ik hier niet meer
Ik heb onderstaande er nog instaan, op aanraden van ik weet niet meer waar/wie. Ik moet eerlijk toegeven dat ik niet onderzocht heb waarom, misschien zit hier het verschil..CurlyMo schreef op vrijdag 11 september 2020 @ 21:44:
[...]
code:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 arch: amd64 cores: 1 hostname: router memory: 512 net0: name=eth0,bridge=vmbr0,hwaddr=E6:B5:CB:B3:0B:3A,ip=dhcp,ip6=dhcp,type=veth net1: name=wan0,bridge=vmbr2,hwaddr=8A:2D:3A:B6:34:0A,ip=dhcp,ip6=dhcp,type=veth net2: name=eth1,bridge=vmbr1,firewall=1,hwaddr=AA:BB:CC:DD:DD:EE,ip=dhcp,ip6=dhcp,type=veth onboot: 1 ostype: unmanaged rootfs: local-zfs:subvol-114-disk-0,size=1G startup: order=1,up=1,down=30 swap: 512 unprivileged: 1 lxc.mount.entry: /dev/net dev/net none bind,create=dir
1
2
3
4
| lxc.include: /usr/share/lxc/config/openwrt.common.conf lxc.include: /usr/share/lxc/config/common.conf lxc.cap.drop: sys_admin lxc.mount.entry: tmp tmp tmpfs rw,nodev,relatime,mode=1777 0 0 |
- Deze advertentie is geblokkeerd door Pi-Hole -
Wanneer ik tijd/zin heb zal ik eens kijken,A1AD schreef op vrijdag 11 september 2020 @ 21:52:
[...]
Ik heb onderstaande er nog instaan, op aanraden van ik weet niet meer waar/wie. Ik moet eerlijk toegeven dat ik niet onderzocht heb waarom, misschien zit hier het verschil..
code:
1 2 3 4 lxc.include: /usr/share/lxc/config/openwrt.common.conf lxc.include: /usr/share/lxc/config/common.conf lxc.cap.drop: sys_admin lxc.mount.entry: tmp tmp tmpfs rw,nodev,relatime,mode=1777 0 0
Sinds de 2 dagen regel reageer ik hier niet meer
Eetste fix was de switchpoort van 100FDX af halen, poort is ooit gebruikt voor zakelijk glasvezel. Daarna met iperf niet verder dan 30Mbit komen. Uiteindelijk op de virtio netwerkkaart alle offloading uitgezet en toen haalde ik 5Gbit naar de proxmox host. Iperf naar een apparaat buiten de server deed 950Mbit uit proxmox, 300Mbit met 2019 VM.
Nu de Windows VMs op de E1000 emulatie gezet, haal nu 2Gbit onderling en 950Mbit naar buiten.
Iemand die ervaring met VirtIO Net heeft op Windows 2019 en wel fatsoenlijke performance haalt? Of kan ik beter bij E1000 blijven?
Ik heb een ZFS-Backup pool met 1 disk in ZFS
nu laat deze disk elke dag zien dat er Currently unreadable (pending) sectors zijn. En het aantal gaat elke dag ietsjes om hoog van 1 naar 2 naar 8 naar 16 .
Nu wil ik /dev/sdc die dus in pool ZFS-Backup zit en als storage gebruikt wordt, vervangen met /dev/sdd
maar ik wil wel graag de data van die disk ' overzetten ' naar de nieuwe disk
hoe pak ik dat het beste aan binnen proxmox?
There are no secrets, only information you do not yet have
Keyword lijkt mij dan zfs replace. Dan vervangt ZFS de ene door de andere HDD waarbij alle data letterlijk wordt over gezet (dus de bestanden, maar ook metadata, snapshots, ... Alles er op en er aan).zeroday schreef op woensdag 16 september 2020 @ 18:19:
iemand een ideetje hoe ik dit het beste kan aanpakken?
Ik heb een ZFS-Backup pool met 1 disk in ZFS
nu laat deze disk elke dag zien dat er Currently unreadable (pending) sectors zijn. En het aantal gaat elke dag ietsjes om hoog van 1 naar 2 naar 8 naar 16 .
Nu wil ik /dev/sdc die dus in pool ZFS-Backup zit en als storage gebruikt wordt, vervangen met /dev/sdd
maar ik wil wel graag de data van die disk ' overzetten ' naar de nieuwe disk
hoe pak ik dat het beste aan binnen proxmox?
Edit:
Zul je overigens gewoon via shell / SSH moeten doen rechtstreeks in Proxmox zelf. Blijft immers gewoon Debian onderwater.
[ Voor 7% gewijzigd door RobertMe op 16-09-2020 18:31 ]
Zover was ik ook dacht ik ..RobertMe schreef op woensdag 16 september 2020 @ 18:30:
[...]
Keyword lijkt mij dan zfs replace. Dan vervangt ZFS de ene door de andere HDD waarbij alle data letterlijk wordt over gezet (dus de bestanden, maar ook metadata, snapshots, ... Alles er op en er aan).
Edit:
Zul je overigens gewoon via shell / SSH moeten doen rechtstreeks in Proxmox zelf. Blijft immers gewoon Debian onderwater.
totdat ik deze melding kreeg
root@proxmox:~# zpool replace ZFS-Backup /dev/sdc /dev/sdd
cannot replace /dev/sdc with /dev/sdd: no such device in pool
zucht .. en toen wist ik het .. /dev/sdc kent ie niet, ik moet dan het guid gebruiken..
tadahh.. ah .. nou .. eens kijken wat er gebeurd..
pool: ZFS-Backup
state: ONLINE
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Wed Sep 16 19:25:12 2020
50.3G scanned at 437M/s, 3.66G issued at 31.7M/s, 226G total
3.65G resilvered, 1.62% done, 0 days 01:59:45 to go
remove: Removal of vdev 1 copied 1.20M in 0h0m, completed on Wed Sep 16 14:39:09 2020
672 memory used for removed device mappings
config:
NAME STATE READ WRITE CKSUM
ZFS-Backup ONLINE 0 0 0
replacing-0 ONLINE 0 0 0
ata-Hitachi_HDS5C3030ALA630_MJ1311YNG2HPGA ONLINE 0 0 0
sdd ONLINE 0 0 0 (resilvering)
errors: No known data errors
There are no secrets, only information you do not yet have
Tip voor de volgende keer. Gebruik altijd de device ids (zoals vermeld in /dev/disk/by-id). De informatie in de pool zal dadelijk letterlijk naar sdd verwijzen. Prik je de HDD op een andere poort of in een ander systeem dan kun je "issues" krijgen. Niet onoverkomelijk, maar meteen een universeel id gebruiken bespaart je de volgende keer de moeite.zeroday schreef op woensdag 16 september 2020 @ 19:28:
[...]
Zover was ik ook dacht ik ..
totdat ik deze melding kreeg
root@proxmox:~# zpool replace ZFS-Backup /dev/sdc /dev/sdd
cannot replace /dev/sdc with /dev/sdd: no such device in pool
zucht .. en toen wist ik het .. /dev/sdc kent ie niet, ik moet dan het guid gebruiken..
tadahh.. ah .. nou .. eens kijken wat er gebeurd..
pool: ZFS-Backup
state: ONLINE
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Wed Sep 16 19:25:12 2020
50.3G scanned at 437M/s, 3.66G issued at 31.7M/s, 226G total
3.65G resilvered, 1.62% done, 0 days 01:59:45 to go
remove: Removal of vdev 1 copied 1.20M in 0h0m, completed on Wed Sep 16 14:39:09 2020
672 memory used for removed device mappings
config:
NAME STATE READ WRITE CKSUM
ZFS-Backup ONLINE 0 0 0
replacing-0 ONLINE 0 0 0
ata-Hitachi_HDS5C3030ALA630_MJ1311YNG2HPGA ONLINE 0 0 0
sdd ONLINE 0 0 0 (resilvering)
errors: No known data errors
Ondanks dat dit vrij weinig met Proxmox te maken heeft, is ZFS slim genoeg om uit te vogelen waar de schijven te vinden zijn. Ook als de locaties wisselen.RobertMe schreef op woensdag 16 september 2020 @ 19:44:
[...]
Prik je de HDD op een andere poort of in een ander systeem dan kun je "issues" krijgen.
Sinds de 2 dagen regel reageer ik hier niet meer
Ik meen juist dat ie het "standaard" niet doet? ZFS plaatst wel een eigen id op de disk/partitie die die gebruikt in de zpool samenstelling. Maar dat die ook bij houd waar die disk te vinden (dus de /dev/sd... of /dev/disk/by-id/... etc). Dus uiteindelijk vind die de disk wel terug als je hem laat "zoeken". Maar als je systeem afsluit, disk om prikt, en weer opstart dat je hem dan een handje moet helpen.CurlyMo schreef op woensdag 16 september 2020 @ 19:59:
[...]
Ondanks dat dit vrij weinig met Proxmox te maken heeft, is ZFS slim genoeg om uit te vogelen waar de schijven te vinden zijn. Ook als de locaties wisselen.
Had ik ook moeten doen, maar goed, ookal zou ZFS het kunnen uitvinden, ik vind het nu goed.CurlyMo schreef op woensdag 16 september 2020 @ 19:59:
[...]
Ondanks dat dit vrij weinig met Proxmox te maken heeft, is ZFS slim genoeg om uit te vogelen waar de schijven te vinden zijn. Ook als de locaties wisselen.
het device is nu vervangen, ik ben nog even een scrub aan het uitvoeren, ik zie dat proxmox de juiste nieuwe hdd vind en gebruikt en al mijn data is benaderbaar. Wat dat betreft geen pijn.
There are no secrets, only information you do not yet have
Ik heb een unprivilleged Ubuntu 18.04 LXC opgezet en daarin docker geïnstalleerd. Daar heb ik nu twee containers in draaien (portainer en kanboard). Dat gaat prima. Echter, ik loop vast bij het storage verhaal. In /var/lib/docker/volumes/ heb ik 4 mappen (kanboard_data, kanboard_plugins, kanboard_ssl en portainer_data). Deze mappen zitten via docker aan de juiste mappen in de containers zelf gekoppeld.
Waar ik nu niet uitkom is dat ik deze mappen niet kan vinden. Ik kan überhaupt sysmappen niet vinden. Ik denk na veel leeswerk dat dit komt omdat de storage niet goed is ingeregeld binnen Proxmox. Hierboven is daar volgens mij al het een en ander over geschreven, maar ik begrijp de context nog niet volledig. Ik lees ook veel verschillende meningen en manieren, maar kan die vanuit mijn geringe ervaring niet goed op waarde inschatten / begrijpen. Hier wordt gesproken over het laden van 'aufs' en 'overlay'. Elders wordt dan weer gesproken over een security nightmare als je dit zou doen.
Mijn doel is om deze mappen ( /var/lib/docker/volumes/ ) te kunnen benaderen met Samba zodat ik bijvoorbeeld plugins in kanboard_plugins kan laden.
Wat raden jullie aan om dit goed in te regelen?
Als het je gaat om aan de bestanden te komen met (bv) Samba dan zou ik gewoon Samba binnen LXC installeren, en dan kun je via die weg dus ook aan alle mappen komen, incl. /var/lib/docker/volumes.BounceCloud schreef op vrijdag 18 september 2020 @ 11:39:
Heb sinds kort op een i3 NUC Proxmox draaien met een Home Assistant VM. Wil daarnaast gaan experimenteren met docker in een LXC. Heb hiervoor gekozen om een Ubuntu 18.04 LXC op te zetten, maar kom nog niet helemaal uit het verhaal met de storage.
Ik heb een unprivilleged Ubuntu 18.04 LXC opgezet en daarin docker geïnstalleerd. Daar heb ik nu twee containers in draaien (portainer en kanboard). Dat gaat prima. Echter, ik loop vast bij het storage verhaal. In /var/lib/docker/volumes/ heb ik 4 mappen (kanboard_data, kanboard_plugins, kanboard_ssl en portainer_data). Deze mappen zitten via docker aan de juiste mappen in de containers zelf gekoppeld.
Waar ik nu niet uitkom is dat ik deze mappen niet kan vinden. Ik kan überhaupt sysmappen niet vinden. Ik denk na veel leeswerk dat dit komt omdat de storage niet goed is ingeregeld binnen Proxmox. Hierboven is daar volgens mij al het een en ander over geschreven, maar ik begrijp de context nog niet volledig. Ik lees ook veel verschillende meningen en manieren, maar kan die vanuit mijn geringe ervaring niet goed op waarde inschatten / begrijpen. Hier wordt gesproken over het laden van 'aufs' en 'overlay'. Elders wordt dan weer gesproken over een security nightmare als je dit zou doen.
Mijn doel is om deze mappen ( /var/lib/docker/volumes/ ) te kunnen benaderen met Samba zodat ik bijvoorbeeld plugins in kanboard_plugins kan laden.
Wat raden jullie aan om dit goed in te regelen?
Dat heb ik gedaan, maar dat gaf alleen de volgende mappen: .bash_logout .bashrc .cache .profile .sudo_as_admin_successfulRobertMe schreef op vrijdag 18 september 2020 @ 13:57:
[...]
Als het je gaat om aan de bestanden te komen met (bv) Samba dan zou ik gewoon Samba binnen LXC installeren, en dan kun je via die weg dus ook aan alle mappen komen, incl. /var/lib/docker/volumes.
Overige mappen zijn dus niet zichtbaar. Ook wanneer ik als root in de LXC zit en ls -a uitvoer, zie ik alleen bovenstaande mappenstructuur. Het leek mij dat Samba eerst niet goed geconfigureerd was, maar dan had ik op zijn minst met root ls -a de sysmappen moeten kunnen ontdekken.
Ik zou afstappen van het gebruik van volumes en overstappen op bind mounts.BounceCloud schreef op vrijdag 18 september 2020 @ 11:39:
Heb sinds kort op een i3 NUC Proxmox draaien met een Home Assistant VM. Wil daarnaast gaan experimenteren met docker in een LXC. Heb hiervoor gekozen om een Ubuntu 18.04 LXC op te zetten, maar kom nog niet helemaal uit het verhaal met de storage.
Ik heb een unprivilleged Ubuntu 18.04 LXC opgezet en daarin docker geïnstalleerd. Daar heb ik nu twee containers in draaien (portainer en kanboard). Dat gaat prima. Echter, ik loop vast bij het storage verhaal. In /var/lib/docker/volumes/ heb ik 4 mappen (kanboard_data, kanboard_plugins, kanboard_ssl en portainer_data). Deze mappen zitten via docker aan de juiste mappen in de containers zelf gekoppeld.
Waar ik nu niet uitkom is dat ik deze mappen niet kan vinden. Ik kan überhaupt sysmappen niet vinden. Ik denk na veel leeswerk dat dit komt omdat de storage niet goed is ingeregeld binnen Proxmox. Hierboven is daar volgens mij al het een en ander over geschreven, maar ik begrijp de context nog niet volledig. Ik lees ook veel verschillende meningen en manieren, maar kan die vanuit mijn geringe ervaring niet goed op waarde inschatten / begrijpen. Hier wordt gesproken over het laden van 'aufs' en 'overlay'. Elders wordt dan weer gesproken over een security nightmare als je dit zou doen.
Mijn doel is om deze mappen ( /var/lib/docker/volumes/ ) te kunnen benaderen met Samba zodat ik bijvoorbeeld plugins in kanboard_plugins kan laden.
Wat raden jullie aan om dit goed in te regelen?
Dat maakt het overzichtelijker denk ik.
- 3 servers voor proxmox
- 1 storage server
- ~5-6 kleine servertjes buiten proxmox
Het idee is om dus om via proxmox extra *nix machines op te spinnen en die samen met de 5-6 kleinere servers tot 1 kubernetes komen.
De reden voor dit alles is omdat ik per definitie k8s wil draaien maar net zo goed ook wat 'plain' *nix hosts nodig heb voor wat overige meuk wat zich niet heel goed leent voor k8s. Die kleinere servers zijn daar niet voor geschikt, maar wel weer voor wat load van k8s. Verder dient alles wel dan via die centrale storage te verlopen.
Dit gaat allemaal wel een projectje worden, maar de komende periode ga ik van start om te zien of het een beetje viable is!
Wanneer dit succesvol blijkt, wil ik dit graag gaan opschalen naar 4TB SSDs. Consumenten SSDs zoals de WD Blue SSDs of Samsung 860 EVO zijn een stuk goedkoper dan datacentrum SSDs zoals de Intel D3-4510 of 'NAS' SSD's zoals de IronWolf 110. Weet iemand of de redundantie van CEPH voldoende bescherming biedt om consumenten SSDs in te zetten? Hoe belangrijk is stroombescherming voor CEPH? Hoeveel writes veroorzaakt CEPH eigenlijk?
© ocf81 1981-infinity
Live the dream! | Politiek Incorrecte Klootzak uitgerust met The Drive to Survive
Bestrijd de plaag die woke heet! | <X> as a Service --> making you a poor & dependent slave
1
2
3
| Sep 27 16:27:31 pve kernel: [116734.210323] Uhhuh. NMI received for unknown reason 3d on CPU 2. Sep 27 16:27:31 pve kernel: [116734.210326] Do you have a strange power saving mode enabled? Sep 27 16:27:31 pve kernel: [116734.210326] Dazed and confused, but trying to continue |
Iemand enig wat ik hier mee moet? Is dit iets nieuws in proxmox 6.2?
Ik heb de powersaving mode op "conservative" staan, die staat gewoon als beschikbaar in /sys/devices/system/cpu/cpu0/cpufreq/scaling_available_governors en heb ik vanaf het begin in gebruik.
Voor nu sluit ik me aan bij die laatste logregel: Dazed and confused, but trying to continue...

De hardware is trouwens een HP Microserver Gen10 van nog geen jaar oud met een AMD X3418 en 32GB
ben er nog niet achter .. elke x dagen gaat een Windows 10 bak op z'n gat ..
ik dacht dat het eerst kwam door 2 corrupte disks, maar toen ik daar 2 nieuwe in had gezet had ik goede hoop.. Maar helaas.
iemand een idee wat dit kan veroorzaken?
ikzelf denk dat het aan de standaard disk fragmentation (defrag job) ligt dus dat heb ik nu uitgezet..
There are no secrets, only information you do not yet have
Ik heb simpelweg shutdown gedaan, schijf vervangen en weer aangezet. Ik verwachtte dat de boel gewoon zou opstarten en dat ik vervolgens een "zpool replace" kon doen. (dat is zoals ik dat al vaker gedaan heb op mijn oude (openindiana)-server voordat ik Proxmox draaide).
Opstarten duurde akelig lang. Server staat onder in de meterkast en draait headless, dus zolang er geen netwerk is kun je helemaal niks zien. Het duurde zo lang dat ik uiteindelijk (na een kwartier of zo) de server maar geforceerd uitgezet heb en de oude schijf teruggeplaatst. Daarna startte de boel gelukkig gewoon op.
De data-pool was niet eens degraded, kwam gewoon online.
Ik had verwacht dat ik in de logging iets zou zien van het boot-proces, maar daar was helemaal niks te vinden. Na de shutdown-berichten was de eerstvolgende entry pas een 20 minuten later.
Details:
Server:
- HP Microserver Gen10
- rpool: aparte SSD
- data-pool: 3xHDD in zraid
Kan iemand me vertellen of de bovenstaande aanpak correct is of dat ik eerst nog een handmatige zpool export o.i.d. had moeten doen?
Kan iemand een reden bedenken waarom de hele server niet meer opstartte en ik daar zelfs niks van in de logs kon vinden?
Dit is geen proxmox maar een ZFS vraag. Desalniettemin, beter doe je een live replace. Dus nieuwe schijf aansluiten terwijl je pool nog met de oude schijf draait. Dat is altijd beter.ocaj schreef op vrijdag 2 oktober 2020 @ 20:36:
Even een vraagje wat de juiste aanpak is om onder proxmox een schijf te vervangen in mijn zpool. Ik heb het zojuist geprobeerd, maar zonder succes.
Ik heb simpelweg shutdown gedaan, schijf vervangen en weer aangezet. Ik verwachtte dat de boel gewoon zou opstarten en dat ik vervolgens een "zpool replace" kon doen. (dat is zoals ik dat al vaker gedaan heb op mijn oude (openindiana)-server voordat ik Proxmox draaide).
Opstarten duurde akelig lang. Server staat onder in de meterkast en draait headless, dus zolang er geen netwerk is kun je helemaal niks zien. Het duurde zo lang dat ik uiteindelijk (na een kwartier of zo) de server maar geforceerd uitgezet heb en de oude schijf teruggeplaatst. Daarna startte de boel gelukkig gewoon op.
De data-pool was niet eens degraded, kwam gewoon online.
Ik had verwacht dat ik in de logging iets zou zien van het boot-proces, maar daar was helemaal niks te vinden. Na de shutdown-berichten was de eerstvolgende entry pas een 20 minuten later.
Details:
Server:
- HP Microserver Gen10
- rpool: aparte SSD
- data-pool: 3xHDD in zraid
Kan iemand me vertellen of de bovenstaande aanpak correct is of dat ik eerst nog een handmatige zpool export o.i.d. had moeten doen?
Kan iemand een reden bedenken waarom de hele server niet meer opstartte en ik daar zelfs niks van in de logs kon vinden?
Sinds de 2 dagen regel reageer ik hier niet meer
Live replace klinkt op zich veiliger, maar ik heb geen vrij sata-slot meer. Ik kan natuurlijk via een USB-dock aansluiten, maar dat voelt ook weer niet helemaal robuust voor een resilver.
Overigens lees ik dat ik beter disk-id's of labels kan gebruiken dan de device-naam. Ik heb tot nu toe altijd device-namen gebruikt, was ook geen probleem toen ik de pool naar een andere server verplaatste, maar mocht het inderdaad beter zijn om labels of disk-id's te gebruiken, is er dan nog een manier om dat achter aan te passen?
Zal morgen eens even de server aan een monitor hangen en kijken of hij misschien op een of andere bios-melding stond te wachten. Anders had ik toch wel iets moeten zien in de boot-log?
(nu nog een geschikt moment vinden, mijn pihole draait ook op deze server, dus heel veel downtime wordt niet geaccepteerd in een huis met 2 tieners....)
In jouw situatie zou ik dat toch via USB(3.x) doen.ocaj schreef op vrijdag 2 oktober 2020 @ 22:39:
Live replace klinkt op zich veiliger, maar ik heb geen vrij sata-slot meer. Ik kan natuurlijk via een USB-dock aansluiten, maar dat voelt ook weer niet helemaal robuust voor een resilver.
Niet druk om maken.Overigens lees ik dat ik beter disk-id's of labels kan gebruiken dan de device-naam. Ik heb tot nu toe altijd device-namen gebruikt, was ook geen probleem toen ik de pool naar een andere server verplaatste, maar mocht het inderdaad beter zijn om labels of disk-id's te gebruiken, is er dan nog een manier om dat achter aan te passen?
Sinds de 2 dagen regel reageer ik hier niet meer
Nieuwe schijf dus eerst via USB en dan als de replace helemaal klaar is machine uit en schijven omwisselen? En dan vind zfs vanzelf wel de juiste schijf weer op de juiste plek, ook zonder dat ik me druk maak om labels ?
Klinkt goed :-)
Ja, en je dus niet met het gedoe zit dat je server het niet leuk vind als er een schijf mist. Ondanks dat dat niet uit zou moeten maken.ocaj schreef op vrijdag 2 oktober 2020 @ 23:13:
Ok, ga ik dat doen. Voordeel is dat je dan tijdens de replace (zal wel zo'n 20-24 uur duren, scrub duurt ook zoiets) nog steeds redundantie hebt?
JaNieuwe schijf dus eerst via USB en dan als de replace helemaal klaar is machine uit en schijven omwisselen? En dan vind zfs vanzelf wel de juiste schijf weer op de juiste plek, ook zonder dat ik me druk maak om labels ?
Sinds de 2 dagen regel reageer ik hier niet meer
Docking station (een LogiLink QP0026) doet het prima met andere schijven, mogelijk zit er een limiet in mijn docking station dat hij niet met 10TB-schijven over weg kan?
Morgen eens kijken of ik de omgekeerde weg kan doen: Eerst de oude schijf (6TB) in de USB stoppen en de nieuwe in het SATA-slot en kijken of de boel dan opstart. Dan kan ik hopelijk nog steeds de live-replace doen.
(schijf zou in theorie ook nog DOA kunnen zijn, maar ik heb er 2 en gedrag is bij allebei hetzelfde. Ook hoor ik de schijf netjes op-spinnen en even zijn koppen heen en weer rammelen. Klinkt alsof hij gewoon werkt)
Update: Het is inderdaad geen proxmox-issue en ook geen zfs-issue. Vanmorgen een monitor aan de server gehangen en het systeem blijft hangen in het boot-scherm. Ik zal dit topic niet verder vervuilen en stel een nieuwe vraag in een ander topic.
[ Voor 13% gewijzigd door ocaj op 03-10-2020 09:04 ]
Ja maar het is wel lastig als je bijv. een replace doet en dat je dan niet weet wat de exacte stappen zijn. hoe je bijv. ervoor zorgt dat alles blijft draaienCurlyMo schreef op vrijdag 2 oktober 2020 @ 20:51:
[...]
Dit is geen proxmox maar een ZFS vraag. Desalniettemin, beter doe je een live replace. Dus nieuwe schijf aansluiten terwijl je pool nog met de oude schijf draait. Dat is altijd beter.
Zo heb ik 2x een ZFS schijf succesvol kunnen replacen, maar toen ik bij de 2e disk bootte was mijn gehele grub foetsie .. dus ergens in mijn vervangwoede ging eea mis.Terwijl ik alle stappen volgde die ik in een forum vond.
Nu was dat niet zo erg want alle VMs had ik op een andere machine in de pool gezet, en uiteindelijk kon ik via een ISO proxmox opnieuw installeren en kon ik hem zelfs zonder problemen weer opnieuw aan de pool toevoegen, maar zou ik VMs hebben gehad dan had ik wel een issue
Dus ondanks dat het ZFS is, als je binnen proxmox een disk moet vervangen zou het handig zijn als de procedure wellicht wat meer helder is. Dat hoeft niet vanuit de GUI, mag via de CLI en het is dan vooral van belang om in alle gevallen te weten hoe je de machine geboot kan blijven houden
maar dat zal dan wel weer aan mijn algemene ZFS kennis (oh oh daar gaan we) liggen ..
Dus heb je in je RPOOL 2 disks in bijv. RAID1 staan en je gaat eerst disk 2 vervangen en daarna disk 1
allebei via een replace .. wat zijn dan de stappen om proxmox aan de praat te houden
There are no secrets, only information you do not yet have
Dat is een goed punt, en iets waar de meesten niet aan zullen denken (ik dus ook niet). Nu ook even snel de partitietabel erbij gepakt, en dan blijkt uiteraard dat er ook een EFI partitie aanwezig moet zijn (en daarvoor staat nog een boot, dus partitie 1 is BIOS boot, maar lijkt alleen te bestaan ter uitlijning zodat 2, EFI system, op sector 2048 begint, en partitie 3 staat vervolgens de rpool op).zeroday schreef op zondag 4 oktober 2020 @ 10:53:
[...]
Ja maar het is wel lastig als je bijv. een replace doet en dat je dan niet weet wat de exacte stappen zijn. hoe je bijv. ervoor zorgt dat alles blijft draaien
Zo heb ik 2x een ZFS schijf succesvol kunnen replacen, maar toen ik bij de 2e disk bootte was mijn gehele grub foetsie .. dus ergens in mijn vervangwoede ging eea mis.Terwijl ik alle stappen volgde die ik in een forum vond.
Nu was dat niet zo erg want alle VMs had ik op een andere machine in de pool gezet, en uiteindelijk kon ik via een ISO proxmox opnieuw installeren en kon ik hem zelfs zonder problemen weer opnieuw aan de pool toevoegen, maar zou ik VMs hebben gehad dan had ik wel een issue
Dus ondanks dat het ZFS is, als je binnen proxmox een disk moet vervangen zou het handig zijn als de procedure wellicht wat meer helder is. Dat hoeft niet vanuit de GUI, mag via de CLI en het is dan vooral van belang om in alle gevallen te weten hoe je de machine geboot kan blijven houden
maar dat zal dan wel weer aan mijn algemene ZFS kennis (oh oh daar gaan we) liggen ..
Dus heb je in je RPOOL 2 disks in bijv. RAID1 staan en je gaat eerst disk 2 vervangen en daarna disk 1
allebei via een replace .. wat zijn dan de stappen om proxmox aan de praat te houden
Als je dus klakkeloos een replace doet van een vdev uit de rpool met een nieuwe, volledige, disk zal ZFS dus een grote partitie daarvan maken en is het onmogelijk om de EFI system partitie er op te zetten. Bij het vervangen van een disk uit de rpool moet je dus eerst zelf de disk partitioneren, handmatig de EFI partitie formatteren en de bestanden over zetten. En ZFS kun je dan doen met een replace, maar dan wel verwijzen naar de partitie en niet de gehele schijf.
En hier heb je inderdaad de essentieRobertMe schreef op zondag 4 oktober 2020 @ 11:45:
[...]
Dat is een goed punt, en iets waar de meesten niet aan zullen denken (ik dus ook niet). Nu ook even snel de partitietabel erbij gepakt, en dan blijkt uiteraard dat er ook een EFI partitie aanwezig moet zijn (en daarvoor staat nog een boot, dus partitie 1 is BIOS boot, maar lijkt alleen te bestaan ter uitlijning zodat 2, EFI system, op sector 2048 begint, en partitie 3 staat vervolgens de rpool op).
Als je dus klakkeloos een replace doet van een vdev uit de rpool met een nieuwe, volledige, disk zal ZFS dus een grote partitie daarvan maken en is het onmogelijk om de EFI system partitie er op te zetten. Bij het vervangen van een disk uit de rpool moet je dus eerst zelf de disk partitioneren, handmatig de EFI partitie formatteren en de bestanden over zetten. En ZFS kun je dan doen met een replace, maar dan wel verwijzen naar de partitie en niet de gehele schijf.
en als je als gebruiker de ISO gebruikt dan heb je geen flauw idee hoe Proxmox de disks heeft ingedeeld. en als je dan bijv. een /dev/sda moet vervangen dan ben je dus op een heel dun draadje bezig.
Dus ja, als proxmox in de pool zit waar ook proxmox op draait en die 2 disks wil je vervangen .. phoe.
Dus een howto: how to replace disk(s) and keep proxmox booting zou mooi zijn.
There are no secrets, only information you do not yet have
Maar dan let je als gebruikers ook niet goed op. In je zpool status is toch duidelijk te zien dat er een partitie wordt gebruikt of niet. Zo ja, dan is het logisch eerst een partitietabel clone te doen naar je nieuwe schijf.RobertMe schreef op zondag 4 oktober 2020 @ 11:45:
[...]
En ZFS kun je dan doen met een replace, maar dan wel verwijzen naar de partitie en niet de gehele schijf.
Sinds de 2 dagen regel reageer ik hier niet meer
nou dat ben ik niet (helemaal) met je eensCurlyMo schreef op maandag 5 oktober 2020 @ 09:31:
[...]
Maar dan let je als gebruikers ook niet goed op. In je zpool status is toch duidelijk te zien dat er een partitie wordt gebruikt of niet. Zo ja, dan is het logisch eerst een partitietabel clone te doen naar je nieuwe schijf.
:fill(white):strip_exif()/f/image/YLu2VFqfOoQygjqNwUMDcJnQ.png?f=user_large)
je ziet hier inderdaad een part3 .. maar uh hoe wat ? en nu?
Het kan allemaal wel logisch zijn, maar proxmox heeft de indeling gedaan, het simpele klonen van de andere partities? Dat wordt nergens beschreven.
Kijk als dat nu 1 keer ergens vermeld wordt dan kan dat als howto gebruikt worden .. maar ik zal nog steeds geen enkele idee hebben hoe ik dat moet gaan aanvliegen
:fill(white):strip_exif()/f/image/HUb2R7qK50j97LWW8mQrqhL2.png?f=user_large)
En ja ik zie echt nu wel, nu ik er op wordt gewezen dat er nog 2 partities zijn, maar die zitten dus inderdaad niet in de rpool
dus dat is het missende stukje, en ik verwacht niet dat ik de enige ben.
Update:
wellicht dat hier de info staat wat ik zocht maar toen niet zag toen ik het nodig had ;-)
https://edmondscommerce.g...-in-zfs-zpool-on-proxmox/
[ Voor 6% gewijzigd door zeroday op 06-10-2020 07:39 ]
There are no secrets, only information you do not yet have
ik had nog een proxmox server waarvan /dev/hdc elke keer melding gaf van een error
nu had ik hem al uit de pool gehaald en heb ik 3 hdd's over. Lekker 2 disken met zpool en eentje voor storage
geen probleem zou je denken ware het niet dat het wisselen van een disk iets meer is dan alleen maar de disk importeren en syncen)
Echter het was nu tijd om te gaan booten .. ugh .. daar zit ik dan met een grub>
prompt
een issue met boot rescue werkte niet .. iets met efi / uefi etc. .wat niet echt in is te stellen op mijn HP gen8
dus na lang zoeken en proberen .. het volgende gevonden . .
proxmox in debug mode vanaf USB gestart ..
kreeg de prompt
zpool import -R /mnt rpool
mount -t proc /proc /mnt/proc
mount --rbind /dev /mnt/dev
mount --rbind /sys /mnt/sys
# Enter chroot
chroot /mnt /bin/bash
source /etc/profile
# Reinstall package (aangezien mijn netwerk geladen was heb ik dit overgeslagen)
waardoor ik denk ik een probleem kreeg achteraf)
dpkg --configure -a
apt-get update && apt-get dist-upgrade -y
apt-get install --reinstall grub-pc
apt-get install --reinstall zfs-initramfs
apt-get install --reinstall pve-kernel-4.15.17-3 linux-image-amd64
# Reinstall grub
grub-install /dev/sda
grub-install /dev/sdb
update-grub2
for x in $(cat /proc/cmdline); do case $x in root=ZFS=*) BOOT=zfs; ;; esac; done
grub-probe /
update-initramfs -u -k all
# Exit chroot
exit
reboot
dat leverde me uiteindelijk een werkende bootloader op alleen een error op de verificatie van de kernel
gelukkig had ik nog een oudere kernel op de server staan en die bootte wel.
daarna de recente kernel opnieuw geïnstalleerd zodat dit ook weer goed in grub kwam te staan . .
fingers crossed en rebooten
all working again ...
doe je je voordeel (of niet) ermee
There are no secrets, only information you do not yet have
Sinds de 2 dagen regel reageer ik hier niet meer
Nee dat kan/ging ook niet ..CurlyMo schreef op dinsdag 20 oktober 2020 @ 08:10:
Of een andere schijf als boot disk selecteren in de bios waarvan de bootloader nog wel goed was? Daarna grub op de falende schijf opnieuw installeren.
want je kan hooguit ' C ' selecteren of ' disk ' en niet zozeer een slot .. op /dev/sda en /dev/sdb stond alles goed, maar /dev/sdd was vervangen en die werd nog wel ergens vermeld en kon niet meegenomen worden waardoor grub de pijp aan maarten gaf.
eea lijkt / is met ZFS toch anders ..
Mocht proxmox nog beter worden dan zouden ze eigenlijk zo'n disk replacement beter moeten gaan ondersteunen. Maar die gedachte is een wens
There are no secrets, only information you do not yet have
Je kan in de bios toch gewoon aangeven van welke schijf hij moet booten? Oftewel, de schijf die hoort bij sda of sdb?zeroday schreef op dinsdag 20 oktober 2020 @ 08:16:
[...]
Nee dat kan/ging ook niet ..
want je kan hooguit ' C ' selecteren en niet zozeer een slot .. op /dev/sda en /dev/sdb stond alles goed, maar /dev/sdd was vervangen en die werd nog wel ergens vermeld en kon niet meegenomen worden waardoor grub de pijp aan maarten gaf.
Sinds de 2 dagen regel reageer ik hier niet meer
nee. en dan nog. hij boot wel want ik krijg een grub> prompt ..CurlyMo schreef op dinsdag 20 oktober 2020 @ 08:19:
[...]
Je kan in de bios toch gewoon aangeven van welke schijf hij moet booten? Oftewel, de schijf die hoort bij sda of sdb?
maar hij boot niet door omdat bepaalde onderdelen niet meer gevonden worden ..
[ Voor 12% gewijzigd door zeroday op 20-10-2020 08:24 ]
There are no secrets, only information you do not yet have
Dat is raar, want binnen grub moet dan helder zijn dat hij moet booten van een zpool, en dan zou vanaf daar ZFS het over moeten nemen.zeroday schreef op dinsdag 20 oktober 2020 @ 08:22:
[...]
nee. en dan nog. hij boot wel want ik krijg een grub> prompt ..
maar hij boot niet door omdat bepaalde onderdelen niet meer gevonden worden ..
Sinds de 2 dagen regel reageer ik hier niet meer
Dan heb je geen grub geïnstalleerd gehad op al je rpool disken???zeroday schreef op dinsdag 20 oktober 2020 @ 08:22:
[...]
nee. en dan nog. hij boot wel want ik krijg een grub> prompt ..
maar hij boot niet door omdat bepaalde onderdelen niet meer gevonden worden ..
- Deze advertentie is geblokkeerd door Pi-Hole -
Jawel, HAD ..A1AD schreef op dinsdag 20 oktober 2020 @ 08:59:
[...]
Dan heb je geen grub geïnstalleerd gehad op al je rpool disken???
maar doordat ik een disk vanuit de rpool had vervangen ging het mis
Want 'iedereen' verwijst heel makkelijk naar: oh je doet dan dit en dat .. maar men vergeet continue dat de partitie layout van die disk niet alleen maar een ZFS partitie is.
dus het is meer dan alleen maar en disk uit de pool halen en er inzetten.
Dus als jij een disk uit de pool haalt en er een nieuwe disk in zet en je de disk via de frontend initialiseert dan gaat het gewoonweg mis. want die initialisatie maakt niet de partities aan zoals het wordt aangemaakt tijdens de installatie van proxmox.
En natuurlijk gaan er wel wat belletjes rinkelen maar daarvoor moet je dan eerst wel een paar keer je voet stoeten om door schade en schande wijs te worden.
There are no secrets, only information you do not yet have
Begrijp ik het goed dat je 1 van de rpool disken vervangen hebt in ZFS en erna GRUB vergeten te installeren bent op die nieuwe disk waardoor er dan pas problemen waren bij het opstarten?zeroday schreef op dinsdag 20 oktober 2020 @ 09:56:
[...]
Jawel, HAD ..
maar doordat ik een disk vanuit de rpool had vervangen ging het mis
Want 'iedereen' verwijst heel makkelijk naar: oh je doet dan dit en dat .. maar men vergeet continue dat de partitie layout van die disk niet alleen maar een ZFS partitie is.
dus het is meer dan alleen maar en disk uit de pool halen en er inzetten.
Dus als jij een disk uit de pool haalt en er een nieuwe disk in zet en je de disk via de frontend initialiseert dan gaat het gewoonweg mis. want die initialisatie maakt niet de partities aan zoals het wordt aangemaakt tijdens de installatie van proxmox.
En natuurlijk gaan er wel wat belletjes rinkelen maar daarvoor moet je dan eerst wel een paar keer je voet stoeten om door schade en schande wijs te worden.
Vervangen van een rpool disk staat duidelijk in de manual van proxmox: https://pve.proxmox.com/w...min_zfs_change_failed_dev
- Deze advertentie is geblokkeerd door Pi-Hole -
klopt, maar zfs mist een disk en die fout wordt dan initieel door proxmox gemaakt (kuch .. ik bedoel jezelf) omdat je in de frontend een disk kan initialiseren die niet de layout van de partities gebruikt die voor de andere disken bij de installatie is gebruikt.CurlyMo schreef op dinsdag 20 oktober 2020 @ 08:31:
[...]
Dat is raar, want binnen grub moet dan helder zijn dat hij moet booten van een zpool, en dan zou vanaf daar ZFS het over moeten nemen.
Dus dit is eerder een opmerking richting gebruikers met ervaring zoals ik: net geen newbie maar ook geen expert op het gebied van het vervangen van disks in een proxmox ZFS omgeving.
There are no secrets, only information you do not yet have
ik vind het verre van duidelijk ..A1AD schreef op dinsdag 20 oktober 2020 @ 10:00:
[...]
Begrijp ik het goed dat je 1 van de rpool disken vervangen hebt in ZFS en erna GRUB vergeten te installeren bent op die nieuwe disk waardoor er dan pas problemen waren bij het opstarten?
Vervangen van een rpool staat duidelijk in de manual van proxmox: https://pve.proxmox.com/w...min_zfs_change_failed_dev
Dus dit zou dan voldoende zijn geweest
"Changing a failed bootable device
Depending on how Proxmox VE was installed it is either using grub or systemd-boot as bootloader (see Host Bootloader).
The first steps of copying the partition table, reissuing GUIDs and replacing the ZFS partition are the same. To make the system bootable from the new disk, different steps are needed which depend on the bootloader in use.
# sgdisk <healthy bootable device> -R <new device>
# sgdisk -G <new device>
# zpool replace -f <pool> <old zfs partition> <new zfs partition> "
There are no secrets, only information you do not yet have