Het grote Proxmox VE topic

[maxxie85]

icecreamfarmer schreef op vrijdag 19 maart 2021 @ 20:45:
[...]


Dat dacht ik ook maar daar heb ik dus rekening mee gehouden.

Die staat op 56gb voor die vm.
Ruim genoeg voor home assistant.

Echter lijkt hij qua grootte gekoppeld te zitten aan de kleine local schijf van proxmox.

Plus als ik hem herinstalleer wat moet ik dan doen om dit probleem te voorkomen?

Zover ik weet heb ik het volgens het boekje gedaan.

Edit in plaatjes:
[Afbeelding]

[Afbeelding]

[Afbeelding]

Er is dus genoeg toegewezen. De schijf wordt ook volledig gezien echter lijkt hij vervolgens maar 7gb ipv 256gb te hebben?

Opgelost. Ik snap geen reet van al dat mounten. Daar ging het fout.
Nu dit gebruikt:
https://nubcakes.net/inde...o-add-storage-to-proxmox/

Aah, ik zie het al denk ik.

Je hebt 2 datastores geconfigureerd, namelijk

• VM-Local, (7GB ong.)
• Local-LVM, (240GB ong vermoed ik)

Toen jij je VM hebt aangemaakt heb je wel de maximale grootte van je VM op 56GB gezet, echter heb je die opgeslagen in VM-Local, inplaats van local-LVM.

Edit:

IK zie nu pas dat jij ZFS gebuikt. Met ZFS moet je namelijk een dataset maken en daarna moet je die nog toevoegen (mounten) in proxmox. Heb je dat wel gedaan?

[ Voor 4% gewijzigd door maxxie85 op 19-03-2021 22:25 ]

[icecreamfarmer]

maxxie85 schreef op vrijdag 19 maart 2021 @ 22:23:
[...]


Aah, ik zie het al denk ik.

Je hebt 2 datastores geconfigureerd, namelijk

• VM-Local, (7GB ong.)
• Local-LVM, (240GB ong vermoed ik)

Toen jij je VM hebt aangemaakt heb je wel de maximale grootte van je VM op 56GB gezet, echter heb je die opgeslagen in VM-Local, inplaats van local-LVM.

Edit:

IK zie nu pas dat jij ZFS gebuikt. Met ZFS moet je namelijk een dataset maken en daarna moet je die nog toevoegen (mounten) in proxmox. Heb je dat wel gedaan?

Nee. Heb nu dit gebruikt en mounts gemaakt.
https://nubcakes.net/inde...o-add-storage-to-proxmox/

[dcm360]

TweakerVincent schreef op vrijdag 19 maart 2021 @ 21:58:
Ik lees op diverse plekken dat upgraden niet zomaar gaat. ik draai 6.1.7. Ik ga parallel een dev env opzetten op mijn mac mini waar ik kan troubleshooten. Kan ik tegen veel dingen aanlopen bij upgraden? Ik backup alle VM's naar een netwerk share dus volgens mij moet ik wel veilig kunnen backuppen (wat ik dus met de sandbox proxmox wil gaan uitproberen). of gaat het toch echt niet zo simpel?

Wat zou er dan zoal mis kunnen gaan? Vorige week heb ik nog een paar machines van 5.4 in 1 keer naar de laatste versie van 6.3 geupgrade, zonder noemenswaardige problemen (alleen wat dingetjes waar ik zelf beter had moeten opletten). Wel de upgrade-handleiding er naast gehouden.

[Zenix]

KappuhH schreef op vrijdag 19 maart 2021 @ 13:23:

Iemand enig idee hoe ik de fans langzamer kan laten draaien? Het continu opspinnen maakt best wat geluid namelijk.

Misschien helpt het om de governor van de cpu aanpassen, staat standaard op performance. Heb je het package linux-cpupower nodig.

cpupower frequency-info (om te kijken waar die nu op staat, standaard dus performance)
cpupower frequency-set -g powersave
cpupower frequency-set -g performance

[ocaj]

En zonder die cpupower-package kun je de huidige governor uitlezen via:
cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

(en dat dan cpu0 vervangen voor elke core die je systeem heeft)

Instellen gaat dan middels:
echo conservative > /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

[TweakerVincent]

ocaj schreef op zondag 21 maart 2021 @ 00:05:
En zonder die cpupower-package kun je de huidige governor uitlezen via:
cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

(en dat dan cpu0 vervangen voor elke core die je systeem heeft)

Instellen gaat dan middels:
echo conservative > /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

perfect!! kreeg package niet geinstalleerd maar zo werkt het top! tnx

[maxxie85]

TweakerVincent schreef op zondag 21 maart 2021 @ 19:32:
[...]


perfect!! kreeg package niet geinstalleerd maar zo werkt het top! tnx

Ik dit prices geautomatiseerd door een gelijkwaardige command in de crontab te zetten van de root user met de reboot flag. Hierdoor hoef je hier ook niet over na te denken als je server restart.

[KappuhH]

rachez schreef op vrijdag 19 maart 2021 @ 19:07:
[...]


Is die temperatuur niet relatief laag omdat de fans opspinnen?
Wat is je gemiddelde cpu belasting als je fans spinnen, dat lijkt me een goede graadmeter.

Ik heb 3 nucjes staan met proxmox. En afhankelijk van het cpu gebruik hoor ik de fans wel of niet namelijk.

Nee denk het niet aangezien ik er nu alleen nog maar proxmox op heb staan. Ook gaat de fan elke minuut van snel naar langzaam en weer naar snel.

Zenix schreef op zaterdag 20 maart 2021 @ 00:08:
[...]


Misschien helpt het om de governor van de cpu aanpassen, staat standaard op performance. Heb je het package linux-cpupower nodig.

cpupower frequency-info (om te kijken waar die nu op staat, standaard dus performance)
cpupower frequency-set -g powersave
cpupower frequency-set -g performance

Bedankt, heb hem in powersave modus gezet maar dat lost het probleem niet op.

Iemand enig idee hoe ik via proxmox wel de snelheid van de fans uit kan lezen?

[Luxicon]

KappuhH schreef op woensdag 24 maart 2021 @ 21:49:
[...]

Nee denk het niet aangezien ik er nu alleen nog maar proxmox op heb staan. Ook gaat de fan elke minuut van snel naar langzaam en weer naar snel.
[...]

Bedankt, heb hem in powersave modus gezet maar dat lost het probleem niet op.

Iemand enig idee hoe ik via proxmox wel de snelheid van de fans uit kan lezen?

apt install lm-sensors
sensors-detect
sensors

[rachez]

KappuhH schreef op woensdag 24 maart 2021 @ 21:49:
[...]

Nee denk het niet aangezien ik er nu alleen nog maar proxmox op heb staan. Ook gaat de fan elke minuut van snel naar langzaam en weer naar snel.

bios reset lijkt hier wat te doen:
https://www.reddit.com/r/...beh_fan_settings_ignored/

Zijn er misschien bios upgrades met release notes die erop lijken?

[barrymossel]

Sinds een week of wat heb ik Proxmox VE draaien op een NUC. Enerzijds een VM met Home Assistant OS en domotica gerelateerde add-ons/containers, anderzijds een LXC met Ubuntu 20.4 en docker containers.
Eén van de add-ons die bij Home Assistant draait is MQTT. Als enkele slimme stopcontacten geen contact meer hebben met de MQTT broker dan beginnen ze groen te knipperen. Dit gebeurde zaterdagochtend (nou ja, nacht) ineens. Op dat moment vanwege dat knipperlicht naast m'n hoofd de plug eruit getrokken en toen ik een uur of wat later uit bed kwam hem er weer in gestoken. Knipperen was er niet meer, dus er was weer verbinding.

Prima, dat leek op een hickup. Gisteren echter zag ik in de woonkamer weer hetzelfde gebeuren. Op dat moment kreeg ik geen connectie meer met Proxmox of alles wat daaronder draaide. Ook niet via SSH. En ook niet na een (meerdere) reboot(s).

Uiteindelijk heb ik Proxmox opnieuw geïnstalleerd op de NUC. Maar hoe had ik dit nu het beste kunnen debuggen/voorkomen?

Gelukkig had ik gistermiddag toevallig net een dagelijkse backup ingesteld van de VM en LXC (en die ook alvast gedraaid). De VM met Home Assistant OS had ik dan ook zo teruggezet. Echter bij de LXC ging het terugzetten van de backup mis. Ik kreeg allerlei foutmeldingen met:

code:

Cannot mknod: Operation not permitted

Uiteindelijk besloten om alles handmatig terug te zetten wat "essentieel" was, maar dit wil ik in de toekomst dus voorkomen, want anders heeft een backup weinig zin.
Is het verstandiger om bijvoorbeeld een snapshot te maken van de gehele Proxmox installatie (en hoe doe ik dat)? Of kan ik die bovenstaand foutmelding voorkomen?

[lolgast]

@barrymossel Troubleshooten kost vaak tijd, dus dat moet uitkomen. Als je huis stopt met functioneren en je vrouw wordt boos heb je vaak gestress, dan ga je niet kunnen troubleshooten. Ik zou dus kijken of je kunt zorgen van een fail-over/.

Dat Proxmox in zijn totaliteit niet bereikbaar maar is, is wel iets om te onderzoeken. Dat hoort natuurlijk niet. Eerst wat in mijn opkomt is, omdat een herstart ook niet hielp, is een volgelopen disk. Ik ga er vanuit dat je geen monitor aan je NUC hebt hangen? Dat + een toetsenbord is stap 1. Je hebt gewoon je console output nodig op zo'n moment, anders ben je blind aan het onderzoeken.

Vwb het herstellen van je LXC. Probeerde je wellicht een unprivileged LXC te herstellen zonder dat vinkje uit te zetten bij de restore?

[barrymossel]

lolgast schreef op maandag 29 maart 2021 @ 09:52:
@barrymossel Troubleshooten kost vaak tijd, dus dat moet uitkomen. Als je huis stopt met functioneren en je vrouw wordt boos heb je vaak gestress, dan ga je niet kunnen troubleshooten. Ik zou dus kijken of je kunt zorgen van een fail-over/.

Inderdaad. Het was al een klotedag en dit kon ik er nu niet bijhebben. Dus alles is ook slordig gegaan en ik heb voor het troubleshooten geen tijd genomen. Fail-over ga ik me straks eens in verdiepen.

Dat Proxmox in zijn totaliteit niet bereikbaar maar is, is wel iets om te onderzoeken. Dat hoort natuurlijk niet. Eerst wat in mijn opkomt is, omdat een herstart ook niet hielp, is een volgelopen disk. Ik ga er vanuit dat je geen monitor aan je NUC hebt hangen? Dat + een toetsenbord is stap 1. Je hebt gewoon je console output nodig op zo'n moment, anders ben je blind aan het onderzoeken.

Dat ben ik vergeten te melden. Ik heb hem nog wel even aan een scherm gehangen (aangezien dit toch moest voor een herinstallatie) en toen zag ik gewoon dat Proxmox bereikbaar zou moeten zijn via het betreffende IP:8006. En daar kon ik inloggen, maar dat lukte vlug vlug vlug ook niet (waarschijnlijk mijn eigen fout).
Nu ik dit zou bekijk lijkt het misschien wel aan het netwerk te liggen op een of andere manier. Aan de andere kant was Proxmox wel zichtbaar in het modem, maar volgens mij Home Assistant en Ubuntu niet.

Vwb het herstellen van je LXC. Probeerde je wellicht een unprivileged LXC te herstellen zonder dat vinkje uit te zetten bij de restore?

Ja, daar heb ik nog wel mee zitten kloten. Maar ook zonder het vinkje uit te zetten werkte het niet. Wat er toen fout ging weet ik dus ook niet meer. Kan ik dat nog ergens achterhalen in een log?
---edit----
Ah, nogmaals geprobeerd en het werkt wel. Er wordt een nieuwe LXC aangemaakt, echet draait geen van de docker containers en die krijg ik ook niet 1-2-3 gestart...
---edit---

En een snapshot van de gehele installatie. Is dat mogelijk?

[ Voor 4% gewijzigd door barrymossel op 29-03-2021 10:21 ]

[fuzzyduck]

barrymossel schreef op maandag 29 maart 2021 @ 09:44:
Sinds een week of wat heb ik Proxmox VE draaien op een NUC. Enerzijds een VM met Home Assistant OS en domotica gerelateerde add-ons/containers, anderzijds een LXC met Ubuntu 20.4 en docker containers.
Eén van de add-ons die bij Home Assistant draait is MQTT. Als enkele slimme stopcontacten geen contact meer hebben met de MQTT broker dan beginnen ze groen te knipperen. Dit gebeurde zaterdagochtend (nou ja, nacht) ineens. Op dat moment vanwege dat knipperlicht naast m'n hoofd de plug eruit getrokken en toen ik een uur of wat later uit bed kwam hem er weer in gestoken. Knipperen was er niet meer, dus er was weer verbinding.

Prima, dat leek op een hickup. Gisteren echter zag ik in de woonkamer weer hetzelfde gebeuren. Op dat moment kreeg ik geen connectie meer met Proxmox of alles wat daaronder draaide. Ook niet via SSH. En ook niet na een (meerdere) reboot(s).

Uiteindelijk heb ik Proxmox opnieuw geïnstalleerd op de NUC. Maar hoe had ik dit nu het beste kunnen debuggen/voorkomen?

Gelukkig had ik gistermiddag toevallig net een dagelijkse backup ingesteld van de VM en LXC (en die ook alvast gedraaid). De VM met Home Assistant OS had ik dan ook zo teruggezet. Echter bij de LXC ging het terugzetten van de backup mis. Ik kreeg allerlei foutmeldingen met:

code:

Cannot mknod: Operation not permitted

Uiteindelijk besloten om alles handmatig terug te zetten wat "essentieel" was, maar dit wil ik in de toekomst dus voorkomen, want anders heeft een backup weinig zin.
Is het verstandiger om bijvoorbeeld een snapshot te maken van de gehele Proxmox installatie (en hoe doe ik dat)? Of kan ik die bovenstaand foutmelding voorkomen?

Ik heb proxmox nu ook pas een weekje of twee draaien en had na een Reboot opeens geen verbinding meer. Na heel veel troubleshooten toch maar een reinstall gedaan. Door de opslag op een raid10 had ik de boel gelukkig zo weer draaien.

Nu heb ik twee nics op het serverboard, beide intel met dezelfde naam. Nu blijkt dat bij debian(proxmox) bij boot het 'random' is welke hij het eerst vindt, en dus Ens18 wordt genoemd. Dit zal kunnen worden getriggerd door een hardware wijziging of een bios aanpassing. Nu schijn je dat in Grub kunnen vastleggen maar nog niet bekeken.

Voorlopig heb ik het voornemen de Cat6 in de andere Nic te stoppen als ik er niet meer in kom

Wellicht heeft je NUC 2 nics?

[fuzzyduck]

En zet je dhcp server voorlopig even nog op je router mocht je die taak aan proxmox hebben gegeven.

Hier een huis houden met twee kinderen dus hommeles als ik de boel weer eens om zeep help.

[barrymossel]

En hoppa, het gebeurt weer. Nu heb ik wat meer tijd om te debuggen. Zowel Proxmox als Home Assistant VM en Ubuntu LXC zijn zichtbaar in router, maar niet benaderbaar via de betreffende IP's. Wat nu?

fuzzyduck schreef op maandag 29 maart 2021 @ 10:00:
[...]


Ik heb proxmox nu ook pas een weekje of twee draaien en had na een Reboot opeens geen verbinding meer. Na heel veel troubleshooten toch maar een reinstall gedaan. Door de opslag op een raid10 had ik de boel gelukkig zo weer draaien.

Nu heb ik twee nics op het serverboard, beide intel met dezelfde naam. Nu blijkt dat bij debian(proxmox) bij boot het 'random' is welke hij het eerst vindt, en dus Ens18 wordt genoemd. Dit zal kunnen worden getriggerd door een hardware wijziging of een bios aanpassing. Nu schijn je dat in Grub kunnen vastleggen maar nog niet bekeken.

Voorlopig heb ik het voornemen de Cat6 in de andere Nic te stoppen als ik er niet meer in kom

Wellicht heeft je NUC 2 nics?

Nee, geen 2 nics, dus dat lijkt het niet te zijn.

[barrymossel]

Ah, foutmeldingen:

[Hmmbob]

Ik heb onvoldoende kennis om het volledig te duiden, maar het lijkt iets met je disk te zijn (meldingen vanuit nvme, jbd, pmxcfs)

je zegt dat dit een nieuwe installatie is - ook nieuwe hardware build? if so, dan zou mijn eerste stap zijn om te controleren of je drive wel goed vast/ingeplugd zit, voordat je op software niveau gaat debuggen.

En of er eventueel firmware updates voor je NUC BIOS zijn.

[ Voor 51% gewijzigd door Hmmbob op 29-03-2021 10:59 ]

[barrymossel]

Ah, ik ben niet de enige: Proxmox lockups door NVME drive?

Dat gaat het wel oplossen.

[powerboat]

barrymossel schreef op maandag 29 maart 2021 @ 10:59:
Ah, ik ben niet de enige: Proxmox lockups door NVME drive?

Dat gaat het wel oplossen.

Hier gaat het om een specifiek model van kingston de A2000 weet niet of je die ook hebt?

[barrymossel]

powerboat schreef op maandag 29 maart 2021 @ 11:23:
[...]


Hier gaat het om een specifiek model van kingston de A2000 weet niet of je die ook hebt?

Yup, die heb ik inderdaad.

[powerboat]

Uiteindelijk besloten om alles handmatig terug te zetten wat "essentieel" was, maar dit wil ik in de toekomst dus voorkomen, want anders heeft een backup weinig zin.
Is het verstandiger om bijvoorbeeld een snapshot te maken van de gehele Proxmox installatie (en hoe doe ik dat)? Of kan ik die bovenstaand foutmelding voorkomen?

Wellicht kun je eens kijken naar configuration management met ansible pull, git.

Kun je iig met een paar drukken op de knop een machine compleet nieuw opzetten.

[CurlyMo]

barrymossel schreef op maandag 29 maart 2021 @ 09:44:
Is het verstandiger om bijvoorbeeld een snapshot te maken van de gehele Proxmox installatie (en hoe doe ik dat)? Of kan ik die bovenstaand foutmelding voorkomen?

Ding installeren op ZFS. Dan kan je inderdaad snapshots maken. Gisteren nog nodig gehad bij een falende Proxmox update.

[_JGC_]

barrymossel schreef op maandag 29 maart 2021 @ 10:59:
Ah, ik ben niet de enige: Proxmox lockups door NVME drive?

Dat gaat het wel oplossen.

Het gekke daaraan is dat er sinds pve-kernel 5.4.98-1 een workaround in de kernel zit voor dat probleem. Draai je nog met een verouderde kernel?

[barrymossel]

_JGC_ schreef op maandag 29 maart 2021 @ 11:34:
[...]

Het gekke daaraan is dat er sinds pve-kernel 5.4.98-1 een workaround in de kernel zit voor dat probleem. Draai je nog met een verouderde kernel?

Dat las ik inderdaad ook net. Ik heb gewoon de laatste image gedownload. Hoe zie ik welke kernel ik draai?
Ik draai 5.4.73-1. Eens even kijken hoe ik dit allemaal kan updaten

[ Voor 11% gewijzigd door barrymossel op 29-03-2021 11:38 ]

[_JGC_]

barrymossel schreef op maandag 29 maart 2021 @ 11:35:
[...]

Dat las ik inderdaad ook net. Ik heb gewoon de laatste image gedownload. Hoe zie ik welke kernel ik draai?
Ik draai 5.4.73-1. Hoe update ik dit dan?

pve-community repository inschakelen en dan upgraden met apt.

[barrymossel]

_JGC_ schreef op maandag 29 maart 2021 @ 11:38:
[...]

pve-community repository inschakelen en dan upgraden met apt.

Was er al achter...

As we speak wordt ie geüpdatet!

---edit---
Kernel Version Linux 5.4.106-1-pve #1 SMP PVE 5.4.106-1 (Fri, 19 Mar 2021 11:08:47 +0100)

Eens zien of dit het oplost!

[ Voor 22% gewijzigd door barrymossel op 29-03-2021 11:42 ]

[fuzzyduck]

CurlyMo schreef op maandag 29 maart 2021 @ 11:30:
[...]

Ding installeren op ZFS. Dan kan je inderdaad snapshots maken. Gisteren nog nodig gehad bij een falende Proxmox update.

Ik heb me dus suf gezocht hoe dat dan precies moet maar niks van enige waarde gevonden. Ik heb proxmox op een ssd zfs raid1 geïnstalleerd speciaal voor snapshotting van de boot, maar nu loop ik vast. Heb je ergens een site waar het wordt uitgelegd?

[Hmmbob]

barrymossel schreef op maandag 29 maart 2021 @ 11:39:
[...]

Was er al achter...

As we speak wordt ie geüpdatet!

---edit---
Kernel Version Linux 5.4.106-1-pve #1 SMP PVE 5.4.106-1 (Fri, 19 Mar 2021 11:08:47 +0100)

Eens zien of dit het oplost!

Ben benieuwd. Ondanks dat het niet "de" oplossing was, blij dat ik een zetje in de goede richting kon geven.

[CurlyMo]

fuzzyduck schreef op maandag 29 maart 2021 @ 11:41:
[...]


Ik heb me dus suf gezocht hoe dat dan precies moet maar niks van enige waarde gevonden. Ik heb proxmox op een ssd zfs raid1 geïnstalleerd speciaal voor snapshotting van de boot, maar nu loop ik vast. Heb je ergens een site waar het wordt uitgelegd?

ZFS snapshots in DuckDuckGo geeft je meer dan genoeg informatie.

[fuzzyduck]

CurlyMo schreef op maandag 29 maart 2021 @ 11:48:
[...]

ZFS snapshots in DuckDuckGo geeft je meer dan genoeg informatie.

Eens maar met de rpool ligt dat toch weer anders? Icm met grub waar ik nog nooit van m'n leven heb aan gezeten?

[CurlyMo]

fuzzyduck schreef op maandag 29 maart 2021 @ 12:05:
[...]


Eens maar met de rpool ligt dat toch weer anders? Icm met grub waar ik nog nooit van m'n leven heb aan gezeten?

Waarom?

[smesjz]

_JGC_ schreef op maandag 29 maart 2021 @ 11:38:
[...]

pve-community repository inschakelen en dan upgraden met apt.

Ik zag dit weekend dat pve-kernel-5.11 ook beschikbaar is. Daarvoor is pve-community niet nodig.
Nieuwe kernel werkt hier prima (NUC i5)

[_JGC_]

smesjz schreef op maandag 29 maart 2021 @ 12:53:
[...]


Ik zag dit weekend dat pve-kernel-5.11 ook beschikbaar is. Daarvoor is pve-community niet nodig.
Nieuwe kernel werkt hier prima (NUC i5)

Met pve-community bedoel ik de pve-no-subscription repository. 5.11 zit in die repository, voorheen zat die in pvetest.

Lijkt idd niet de officiele benaming te zijn, ding staat alleen zo genoemd in mijn /etc/apt/sources.list.d op meerdere PVE systemen.

[fuzzyduck]

CurlyMo schreef op maandag 29 maart 2021 @ 12:14:
[...]

Waarom?

MIsschien verwar ik snapshotting met het herstellen van een proxmox installatie op een zfs raid1 na uitval van 1 disk.

[ Voor 7% gewijzigd door fuzzyduck op 29-03-2021 13:06 ]

[CurlyMo]

fuzzyduck schreef op maandag 29 maart 2021 @ 13:05:
[...]


MIsschien verwar ik snapshotting met het herstellen van een proxmox installatie op een zfs raid1, wat ik op dit moment heb draaien.

Dat is ook wat ik bedoel.

[Koepert]

Zooo. ik dacht, laat ik mn host ook eens updaten en rebooten..

Hij probeert nu op te stijgen . De fan is overuren aan t draaien.. Goed, uptime was ook 277 dagen, dus dat had ook wel vaker gemogen.. Maar dit had ik niet helemaal verwacht..

CPU(s) 4 x Intel(R) Core(TM) i5-6500 CPU @ 3.20GHz (1 Socket)
Kernel Version Linux 5.4.106-1-pve #1 SMP PVE 5.4.106-1 (Fri, 19 Mar 2021 11:08:47 +0100)


Belasting is echter vrij laag/normaal.

20% van 4CPU(s)
35% van 16GB RAM
HDD is ook maar 55% in use..

Zie ook ff niets geks in t log.. alleen een hyperactieve fan na reboot. Is dat normaal gedrag na een (redelijk forse) update?

PS: Het betreft de powersupply fan van een EliteDesk 800 G2. Natuurlijk kan die hardware kapot gaan, maar juist omdat het door n update getriggerd is (ok technisch door de reboot) dacht ik dat wellicht in de kernel (Van 5.34 naar 5.4.106? Eerste heb ik niet helemaal onthouden) iets gewijzigd is waar deze pc moeite mee heeft.


Shutdown, stroomkabel er 15min uit, toen er weer in en opstarten, did the trick. Maar het gaf me wel te denken over iets.

Setup:

- 1 Proxmox host op zolder (i5, 16GB, 1,5TB storage, Tower)
- 1 proxmox host in de meterkast (Pentium G3250T 8GB, 500GB storage, Optiplex)

2 verschillende doelen (mediaserver op zolder, Smarthome in meterkast) mede daarom niet in cluster oid.

Maar op die zolderhost staat dus een onder andere een Ubuntu-server VM met daarop Docker containers:

- Sonarr, Radarr, mediaspul.
- Firefly iii financien (1x mariadb container + de 'applicatie' container

Als ik die Firefly containers veilig wil stellen op de Optiplex, wat zou dan de beste methode zijn?

- Beide Hosts in cluster lijkt me overkill en wellicht niet eens mogelijk
- de complete VM migreren? (ik heb mn storage wat f%$ up, de VM draait op local, die heeft geen ruimte voor BU, de storage EXP kan geen backuplocatie zijn?, vast n fout in mn config geweest)
- De docker containers beide migreren?

Liefste doe ik dit zo simpel mogelijk dat ik 'verder kan werken', maar in elk geval de db-container moet dan over. Dit ook omdat de i5 6500 niet echt zuinig is, en wel 24/7 aanstaat.

[ Voor 64% gewijzigd door Koepert op 29-03-2021 16:17 ]

[Andre_J]

Wat is Proxmox toch een stukje fijne software.
USB3 to ethernet adapter erin, hoppa gevonden en geconfigureerd.
Kan ik weer verder met m’n OPNsense HA oplossing

[Robbie T]

Momenteel draai ik nog Xpenology op een self builder server.
12GB ram en een G4560 als CPU.

Ik wil echter Home Assistant "standalone" hebben draaien in plaats van als een VM binnen Xpenology. ProxMox is dan ook the way to go.

Ik heb een 3TB schijf en wilde voor de install van proxmox een 128gb M2 SSD kopen -> goede set of liever een normale sata ssd?

Is het nodig om Ceph ook te installeren? Of is dit overkill in mijn geval?

ZFS is het beste file systeem als ik het zo lees. Kan ik dit configureren met 1 ssd (zfs raid 0) en hierna een zfs pool maken met mijn 3tb zfs drive?

[powerboat]

Robbie T schreef op maandag 29 maart 2021 @ 19:51:
Momenteel draai ik nog Xpenology op een self builder server.
12GB ram en een G4560 als CPU.

Ik wil echter Home Assistant "standalone" hebben draaien in plaats van als een VM binnen Xpenology. ProxMox is dan ook the way to go.

Ik heb een 3TB schijf en wilde voor de install van proxmox een 128gb M2 SSD kopen -> goede set of liever een normale sata ssd?

Is het nodig om Ceph ook te installeren? Of is dit overkill in mijn geval?

ZFS is het beste file systeem als ik het zo lees. Kan ik dit configureren met 1 ssd (zfs raid 0) en hierna een zfs pool maken met mijn 3tb zfs drive?

Nope, voor CEPH heb je minimaal 3 nodes nodig. CEPH is een distributed file system.

[barrymossel]

lolgast schreef op maandag 29 maart 2021 @ 09:52:
Vwb het herstellen van je LXC. Probeerde je wellicht een unprivileged LXC te herstellen zonder dat vinkje uit te zetten bij de restore?

Terugkomend hierop ^^

Schijnbaar kun je op een net wat nieuwere kernel dan dat ik draaide wel unprivileged LXC terugzetten. En dan werken de docker containers wel (werden tegengehouden door AppArmor anders).

Had ik dus maar eerder geüpdatet. Ging er alleen vanuit dat de laatste ISO ook gewoon up-to-date was.

[Robbie T]

powerboat schreef op maandag 29 maart 2021 @ 19:55:
[...]


Nope, voor CEPH heb je minimaal 3 nodes nodig. CEPH is een distributed file system.

Een 128GB ssd zou in elk geval ruim voldoende moeten zijn voor ProxMox?

[powerboat]

Robbie T schreef op dinsdag 30 maart 2021 @ 12:54:
[...]


Een 128GB ssd zou in elk geval ruim voldoende moeten zijn voor ProxMox?

Jup, heb in mijn nodes 2x72GB zitten als bootdisk

[nero355]

Wat een luxe allemaal!

Mijn Proxmox bakkie waarop ik af en toe wat test gebruikt een 36 GB WD ADFD Raptor voor het OS en de andere voor de opslag van de ISO's waarmee ik het een en ander boot/installeer!

[_Eend_]

nero355 schreef op dinsdag 30 maart 2021 @ 17:50:
Wat een luxe allemaal!

Mijn Proxmox bakkie waarop ik af en toe wat test gebruikt een 36 GB WD ADFD Raptor voor het OS en de andere voor de opslag van de ISO's waarmee ik het een en ander boot/installeer!

Ik heb een USB stick van 64GB die dienst doet als ISO storage

Werkt op zich wel prima, maar ik wil op termijn een PVE clustertje bouwen en voor mijn NAS een stel SSD's ipv de HDD's die er nu in zitten. En je moet niet per ongeluk een VM op die stick zetten, want die stick gaat dan over zijn nek

[A1AD]

Ik werk met 2*256 SSD's in ZFS mirror als OS disk + vmdata, 1*512 SSD en 1*512 HDD als extra VM data en dan 5*6TB HDD in RAIDZ2 als opslag.

Top setup, niet de meest zuinige natuurlijk.

[iGadget]

Nieuwe fan van Team Proxmox meldt zich!

Mijn thuis-'cluster' bestaat op dit moment uit dit stapeltje recycle-hardware:

• Node 1 - Dell Optiplex 7010 (i5-3470), 12GB ram, Samsung 840EVO 250GB
• Node 2 - Dell Optiplex 7010 (i5-3470), 16GB ram, WD Blue 1TB SSD
• Node 3 - Homebrew i5-2500, 8GB ram, Samsung 840EVO 120GB

En zodra ik de apps die er op draaien heb gemigreerd naar VM's (en de issues waar ik op dit moment tegenaan loop heb gefixt), dan voeg ik daar ook nog aan toe:
- Intel NUC5CPYH (Celeron N3050), 8GB ram, Samsung 850EVO 120GB

Qua VM's / containers draai ik op dit moment nog redelijk summier:
- Nextcloud (LXC)
- Logitech Media Server (LXC) - voor mijn Squeezebox
- piHole (LXC)
- Home Assistant (KVM)
- Minecraft server (LXC)

Daar moet op korte termijn nog bij komen:
- Plex (nu nog bare-metal op de NUC)
- Unify Network Controller (nu nog bare metal op de NUC)
- Een (nog te kiezen) monitoring / beheer oplossing zoals Zabbix, Landscape, Cockpit oid.

Alle nodes hebben dus een single SSD, met een enkele ZFS rpool. Heb voor ZFS gekozen vanwege de mogelijkheid tot snapshots en alle goede verhalen die ik er over las. Of het de beste keuze is geweest voor mijn use-case ben ik nog niet helemaal uit.

De clustering-functionaliteit is iig echt awesome. De mogelijkheid om met (vrijwel) 0 downtime VM's & containers te migreren van de ene node naar de andere is pure magie!

Maarrrrrr dit komt wel tegen een prijs - met de huidige beperkte load worden (ws. door de combi ZFS + clustering?) mijn huidige SSD's al behoorlijk hard geraakt in de write cycles, in ieder geval de Samsungs.
Op node 1, waar ik een paar maanden geleden mee begonnen ben en die het langste draait, staat de wearout nu al op 23%, waarbij die laatste 3% van de afgelopen maand is.
Kortom, daar moet ik niet heel veel meer belasting op los laten, anders gaat het nog harder.

Maar dat is juist wel het plan - wat nu nog op de NUC draait moet ook nog erbij en de VM's zullen alleen maar intensiever gebruikt gaan worden.

Dus nu eerst op zoek naar vervanging voor de Samsung SSD's. Heb de Intel D3-S4510 op het oog. De Samsungs zou ik dan enkel nog gebruiken voor 'static' data zoals VM-templates, ISO's, backups en mediabestanden.

klopt mijn verwachting dat ik daarmee voorlopig even door zou moeten kunnen groeien?

[TweakerVincent]

iGadget schreef op woensdag 31 maart 2021 @ 12:33:
Nieuwe fan van Team Proxmox meldt zich!

Mijn thuis-'cluster' bestaat op dit moment uit dit stapeltje recycle-hardware:

• Node 1 - Dell Optiplex 7010 (i5-3470), 12GB ram, Samsung 840EVO 250GB
• Node 2 - Dell Optiplex 7010 (i5-3470), 16GB ram, WD Blue 1TB SSD
• Node 3 - Homebrew i5-2500, 8GB ram, Samsung 840EVO 120GB

En zodra ik de apps die er op draaien heb gemigreerd naar VM's (en de issues waar ik op dit moment tegenaan loop heb gefixt), dan voeg ik daar ook nog aan toe:
- Intel NUC5CPYH (Celeron N3050), 8GB ram, Samsung 850EVO 120GB

Qua VM's / containers draai ik op dit moment nog redelijk summier:
- Nextcloud (LXC)
- Logitech Media Server (LXC) - voor mijn Squeezebox
- piHole (LXC)
- Home Assistant (KVM)
- Minecraft server (LXC)

Daar moet op korte termijn nog bij komen:
- Plex (nu nog bare-metal op de NUC)
- Unify Network Controller (nu nog bare metal op de NUC)
- Een (nog te kiezen) monitoring / beheer oplossing zoals Zabbix, Landscape, Cockpit oid.

Alle nodes hebben dus een single SSD, met een enkele ZFS rpool. Heb voor ZFS gekozen vanwege de mogelijkheid tot snapshots en alle goede verhalen die ik er over las. Of het de beste keuze is geweest voor mijn use-case ben ik nog niet helemaal uit.

De clustering-functionaliteit is iig echt awesome. De mogelijkheid om met (vrijwel) 0 downtime VM's & containers te migreren van de ene node naar de andere is pure magie!

Maarrrrrr dit komt wel tegen een prijs - met de huidige beperkte load worden (ws. door de combi ZFS + clustering?) mijn huidige SSD's al behoorlijk hard geraakt in de write cycles, in ieder geval de Samsungs.
Op node 1, waar ik een paar maanden geleden mee begonnen ben en die het langste draait, staat de wearout nu al op 23%, waarbij die laatste 3% van de afgelopen maand is.
Kortom, daar moet ik niet heel veel meer belasting op los laten, anders gaat het nog harder.

Maar dat is juist wel het plan - wat nu nog op de NUC draait moet ook nog erbij en de VM's zullen alleen maar intensiever gebruikt gaan worden.

Dus nu eerst op zoek naar vervanging voor de Samsung SSD's. Heb de Intel D3-S4510 op het oog. De Samsungs zou ik dan enkel nog gebruiken voor 'static' data zoals VM-templates, ISO's, backups en mediabestanden.

klopt mijn verwachting dat ik daarmee voorlopig even door zou moeten kunnen groeien?

noob vraag, hoe doen bedrijven dat met SSD en wearout? Ik heb alles op een nuc draaien met m2, niet bij stilgestaan. zo’n beetje alle VM’s die serieus werk doen gebruiken toch een ssd?

[iGadget]

TweakerVincent schreef op woensdag 31 maart 2021 @ 12:42:
[...]


noob vraag, hoe doen bedrijven dat met SSD en wearout? Ik heb alles op een nuc draaien met m2, niet bij stilgestaan. zo’n beetje alle VM’s die serieus werk doen gebruiken toch een ssd?

Dat is waarom ze voor server workloads ook enterprise-class SSD's aanbevelen.
Wist ik ook niet, moest er 'the hard way' achter komen. En denk dat het in de meeste gevallen ook best wel lang goed kan gaan met 'normale' SSD's. Ik heb gewoon pech dat ik juist die combi heb gekozen (Proxmox + ZFS + clustering) die bizar veel non-optimized writes doet, 24/7. En dat zorgt voor 'write-amplification', wat effectief je wearout buffer er *heel* veel sneller doorheen jaagt dan bij een typische consumer workload.
TBW (Total Bytes Written) is een ding!

[dcm360]

Opletten op de TBW en DWPD (drive writes per day) inderdaad. De Intel D3-S4510 ziet er in dat opzicht inderdaad wel interessant uit. Voor echte write-intensieve taken bestaan er overigens SSD's die nog beter geschikt zijn dan dat, maar dan zit je al weer snel in de prijsklasse van een 1 tot enkele euros per GB, terwijl er in de range rond de 20 cent per GB al genoeg leuks te vinden is voor de meesten hier.

Wat betreft storage heb ik in mijn thuisservertje een Intel DC P4510 van 1TB als bootdisk en voor containers, 3x Intel 660P 2TB in raid-z voor 'snelle data', 3x Tosiba 5TB disks in raid-z voor 'trage data' en 3x Seagate 8TB in raid-z voor backups. De disks van 5TB beginnen ondertussen een beetje lastig te doen, dus op dit moment zitten er al 3x Tosiba 14TB disks in de behuizing ter vervanging, maar ik had niet goed opgelet voor het bestellen en moet ik nu wachten op een voedingskabel om die ook aan te kunnen sluiten.

[TweakerVincent]

iGadget schreef op woensdag 31 maart 2021 @ 12:51:
[...]

Dat is waarom ze voor server workloads ook enterprise-class SSD's aanbevelen.
Wist ik ook niet, moest er 'the hard way' achter komen. En denk dat het in de meeste gevallen ook best wel lang goed kan gaan met 'normale' SSD's. Ik heb gewoon pech dat ik juist die combi heb gekozen (Proxmox + ZFS + clustering) die bizar veel non-optimized writes doet, 24/7. En dat zorgt voor 'write-amplification', wat effectief je wearout buffer er *heel* veel sneller doorheen jaagt dan bij een typische consumer workload.
TBW (Total Bytes Written) is een ding!

Ok maar hoe erg is het om om de 1.5? Oid jaar de ssd te vervangen? Dingen kost niks meer.

[dcm360]

TweakerVincent schreef op woensdag 31 maart 2021 @ 13:09:
[...]

Ok maar hoe erg is het om om de 1.5? Oid jaar de ssd te vervangen? Dingen kost niks meer.

Als dat toch al het plan is, kan je net zo goed een betere SSD kopen die het wel aankan, dat kost op termijn minder en is ook nog eens minder werk.

Als ik op dit moment zou moeten kiezen, zou ik overigens voor de Samsung PM983 gaan, die is best goedkoop. Dat is echter wel een U.2-schijf en daarmee wat lastig om aan te sluiten.
edit: En heeft een nog net iets goedkopere M.2-variant zie ik net, die dan een fractie minder prestaties heeft dan de U.2-versie.

[ Voor 10% gewijzigd door dcm360 op 31-03-2021 13:19 ]

[_JGC_]

Ben er zelf alleen nog maar tegenaangelopen bij een OCZ Vertex SSD van 30GB, die gebruikte ik als compile drive in mijn desktop toen we bij Archlinux nog op eigen systemen pakketjes bouwden. Die SSD was al vrij snel extreem onbetrouwbaar en is later ook helemaal kapot gegaan bij normaal desktopgebruik.

Verder bij mijn voormalig werkgever wel zitten werken met non-supported configuraties. LSI 9750-8i met 6x Crucial M4 256GB in RAID6 als MySQL database server die de hele dag stond te schrijven. SSD stond destijds niet op de HCL van de RAID controller, inmiddels de Crucial C400 wel. Firmware van zowel SSD als RAID controller buggy as hell. Geloof dat we 8 jaar met die server gedaan hebben, media wearout was na 8 jaar zo'n 85% van alle 6 drives. Minimaal overprovisioning, geen TRIM ondersteuning. Hebben het toch goed lang uitgehouden.

[TweakerVincent]

Ik draai dus prox op mijn nuc. Sinds dit weekend ook als backup op mijn mac mini.

Hoe kan ik een ubuntu servertje high available maken? Ik kan ze niet beide tegelijk runnen lijkt mij op de verschillende setups?

Sync je dan om de zoveel tijd de ubuntu maar de mac mini en spin je hem op als main failt?

Of moet ik ervoor zorgen dat de vm het wel aankan (beide aanstaan?)

[dcm360]

Afhankelijk van hoe je het ingesteld hebt, staat de disk van de VM op shared storage, of zorg je er voor dat die met replication regelmatig bijgewerkt wordt. Dan kan je bij een storing de VM starten op de andere machine. Voor echt HA heb je sowieso meer dan 2 machines nodig (en hoe dan ook shared storage, met replication ben je altijd wel een klein deel aan data kwijt, namelijk alles vanaf de laatste keer dat replication is uitgevoerd).

[iGadget]

Zo, heb 4 van deze (2e hands) knappe jongens besteld: Samsung SM863a 480GB
Hopelijk heb ik hiermee mijn wearout-timebomb onschadelijk gemaakt.

Kon het daarnaast ook niet laten om meteen een aantal dual 10G Base-T NICs erbij te doen, dus dat wordt als het goed is een heerlijke snelheidsboost zometeen

(Nou die 10GBase-T switch nog... Mss deze? Enige nadeel wat ik tot nu toe kan zien is dat 'ie waarschijnlijk slecht te beheren / monitoren is met externe tools. En 32 Watt is ook niet enorm zuinig, maar ok...)

[ Voor 0% gewijzigd door iGadget op 31-03-2021 15:54 . Reden: niet 35, maar bijna 32 Watt. ]

[sk1nny666]

iGadget schreef op woensdag 31 maart 2021 @ 15:47:
Zo, heb 4 van deze (2e hands) knappe jongens besteld: Samsung SM863a 480GB
Hopelijk heb ik hiermee mijn wearout-timebomb onschadelijk gemaakt.

Kon het daarnaast ook niet laten om meteen een aantal dual 10G Base-T NICs erbij te doen, dus dat wordt als het goed is een heerlijke snelheidsboost zometeen

(Nou die 10GBase-T switch nog... Mss deze? Enige nadeel wat ik tot nu toe kan zien is dat 'ie waarschijnlijk slecht te beheren / monitoren is met externe tools. En 32 Watt is ook niet enorm zuinig, maar ok...)

heb nu mijn truenas en proxmox direct verbinden op 10Gbit maar zit naar een microtik switch te kijken.
geen ervaring mee zelf. maar volgens mij goed betaalbaar en goed beheerbaar.

[nero355]

iGadget schreef op woensdag 31 maart 2021 @ 15:47:
Kon het daarnaast ook niet laten om meteen een aantal dual 10G Base-T NICs erbij te doen, dus dat wordt als het goed is een heerlijke snelheidsboost zometeen

(Nou die 10GBase-T switch nog... Mss deze? Enige nadeel wat ik tot nu toe kan zien is dat 'ie waarschijnlijk slecht te beheren / monitoren is met externe tools. En 32 Watt is ook niet enorm zuinig, maar ok...)

Jammer dat het geen SFP+ model is, want dan kan je deze switch van MikroTik erbij nemen : pricewatch: MikroTik CRS309-1G-8S+IN
Of de kleinere variant : pricewatch: MikroTik Cloud Router Switch 305-1G-4S+IN

Als je een 10 Gbps RJ45 switch wilt dan zit je al gauw richting de € 599 of zo

[iGadget]

nero355 schreef op woensdag 31 maart 2021 @ 16:43:
[...]

Jammer dat het geen SFP+ model is, want dan kan je deze switch van MikroTik erbij nemen : pricewatch: MikroTik CRS309-1G-8S+IN
Of de kleinere variant : pricewatch: MikroTik Cloud Router Switch 305-1G-4S+IN

Als je een 10 Gbps RJ45 switch wilt dan zit je al gauw richting de € 599 of zo

Klopt, daar ging in eerste instantie ook mijn voorkeur naar uit. Maar dan moet ik fiber gaan trekken door hele dunne buisjes of met dure adapters gaan werken. Of zelfs allebei. CAT6 ligt al vrijwel overal. En die QNAP switch is niet eens zo heel bizar duur, met als bijkomend voordeel dat ik dan naar zolder (waar mijn werkstation staat) kan beginnen met 2,5gbit over CAT5e via de onboard Realtek kaart van mijn werkstation. Alleen is de QNAP niet zo fijn te managen als de MikroTik, eens.

Sluit ook niet uit dat ik ooit alsnog SFP+ ga doen, maar voor nu leek me dit een aardige optie voor 6 tientjes per kaart

[nero355]

iGadget schreef op woensdag 31 maart 2021 @ 16:55:
Klopt, daar ging in eerste instantie ook mijn voorkeur naar uit. Maar dan moet ik fiber gaan trekken door hele dunne buisjes of met dure adapters gaan werken. Of zelfs allebei. CAT6 ligt al vrijwel overal. En die QNAP switch is niet eens zo heel bizar duur, met als bijkomend voordeel dat ik dan naar zolder (waar mijn werkstation staat) kan beginnen met 2,5gbit over CAT5e via de onboard Realtek kaart van mijn werkstation. Alleen is de QNAP niet zo fijn te managen als de MikroTik, eens.

Afhankelijk van het aantal aansluitingen kan je ook een RJ45 naar SFP+ module overwegen voor de apparaten die niet in dezelfde ruimte staan als de rest van de 10 Gbps Clients

Sluit ook niet uit dat ik ooit alsnog SFP+ ga doen, maar voor nu leek me dit een aardige optie voor 6 tientjes per kaart

Op eBay kan je als het goed is SFP+ NIC's scoren tussen de € 25 en € 75 per stuk of zo'n kitje van € 50 waar vaak zelfs een SFP+ koperen DAC kabel erbij zit!

[iGadget]

nero355 schreef op woensdag 31 maart 2021 @ 16:59:
[...]
Afhankelijk van het aantal aansluitingen kan je ook een RJ45 naar SFP+ module overwegen voor de apparaten die niet in dezelfde ruimte staan als de rest van de 10 Gbps Clients
[...]
Op eBay kan je als het goed is SFP+ NIC's scoren tussen de € 25 en € 75 per stuk of zo'n kitje van € 50 waar vaak zelfs een SFP+ koperen DAC kabel erbij zit!

Er is bizar veel te koop idd. Nogmaals, ik sluit niet uit dat ik in de toekomst alsnog met SFP+ aan de gang ga, nu alleen eerst met koper.

[iGadget]

Zo, de spullen zijn binnen
Nu de migratie - mijn plan is op dit moment om het als volgt aan te pakken:
1. Eerste node 'leeg' maken door alle draaiende VM's te migreren naar de andere 2 nodes
2. Deze node uitzetten, nieuwe SSD plaatsen
3. Clonezilla booten en partities van oude SSD naar nieuwe SSD clonen
4. Uitzetten en oude SSD afkoppelen
5. Node opstarten en kijken of PVE werkt
6. PVE disk onderhoudstaken uitvoeren (welke zouden dit moeten zijn?)
7. Oude SSD wipen en evt. opnieuw inzetten als opslag voor data met lage schrijfintensiteit.
8. Herhaal voor de andere 2 nodes.

Zou dit gaan werken of zie ik nog iets over het hoofd?

En wat betreft de data met lage schrijfintensiteit, klopt mijn aanname dat dit dan gaat om:
- VM templates
- Backups
- VM opslag (afhankelijk van de taak van de VM)?

Edit - Het werkt niet, heb ik proefondervindelijk mogen ervaren. Het systeem boot niet vanaf de nieuwe SSD. Now what?

[ Voor 7% gewijzigd door iGadget op 01-04-2021 23:28 . Reden: doettutniet.... ]

[TweakerVincent]

Ik draai prox op een performance I7 nuc. Nu ik wat meer vm’s actief heb draaien maakt de fan overtoeren (performance modus in proxmox)

Hoe erg is het dat deze fan 24/7 erg veel lawaai maakt? Gaat hij dan snel stuk of is het geen probleem?

Herrie maakt niet uit, hij is al verbannen naar zolder

[fuzzyduck]

iGadget schreef op donderdag 1 april 2021 @ 22:52:
Zo, de spullen zijn binnen
Nu de migratie - mijn plan is op dit moment om het als volgt aan te pakken:
1. Eerste node 'leeg' maken door alle draaiende VM's te migreren naar de andere 2 nodes
2. Deze node uitzetten, nieuwe SSD plaatsen
3. Clonezilla booten en partities van oude SSD naar nieuwe SSD clonen
4. Uitzetten en oude SSD afkoppelen
5. Node opstarten en kijken of PVE werkt
6. PVE disk onderhoudstaken uitvoeren (welke zouden dit moeten zijn?)
7. Oude SSD wipen en evt. opnieuw inzetten als opslag voor data met lage schrijfintensiteit.
8. Herhaal voor de andere 2 nodes.

Zou dit gaan werken of zie ik nog iets over het hoofd?

En wat betreft de data met lage schrijfintensiteit, klopt mijn aanname dat dit dan gaat om:
- VM templates
- Backups
- VM opslag (afhankelijk van de taak van de VM)?

Edit - Het werkt niet, heb ik proefondervindelijk mogen ervaren. Het systeem boot niet vanaf de nieuwe SSD. Now what?

Ik ben een leek, maar ik heb op verschillende fora gelezen dat je Grub moet installeren/bijwerken op de gekloonde disk?

Ik heb een ZFS RAID1 bootdisk op 2 ssds. Hiervan weet ik zeker dat na herstel van de partities Grub geïnstalleerd moet worden namelijk. Al weet ik nog niet hoe ofzo. Misschien geldt dit ook voor je clonezilla clone.

[ Voor 27% gewijzigd door fuzzyduck op 02-04-2021 08:59 ]

[Robbie T]

Gisteren mijn server leeg gegooid en proxmox geinstalleerd. Eerst wat moeite gehad om mijn btrfs schijf leeg te maken maar uiteindelijk ook gelukt.

Vooralsnog heb ik twee vm's draaien;
- Home Assistant
- Xpenology.

Op de Xpenology heb ik nog docker draaien met o.a Plex en de unifi controller. Nu kan ik deze twee ook apart van elkaar draaien maar ik weet niet goed of het een voordeel oplevert en hoe ik vervolgens Plex configureer dat hij de media pakt die op de xpenology vm staan.

[iGadget]

fuzzyduck schreef op vrijdag 2 april 2021 @ 08:58:
[...]

Ik ben een leek, maar ik heb op verschillende fora gelezen dat je Grub moet installeren/bijwerken op de gekloonde disk?

Ik heb een ZFS RAID1 bootdisk op 2 ssds. Hiervan weet ik zeker dat na herstel van de partities Grub geïnstalleerd moet worden namelijk. Al weet ik nog niet hoe ofzo. Misschien geldt dit ook voor je clonezilla clone.

Volgens mij werkt dit idd zo bij niet-UEFI systemen. Echter, bij UEFI systemen wordt Grub niet gebruikt. Maar zou idd kunnen dat ik iets in de UEFI settings moet wijzigen. Wat niet meehelpt is dat het systeem in kwestie een nogal buggy UEFI versie heeft (generatie Sandybridge).
Een re-install zit ik echter helemaal niet op te wachten, want dan moet ik (alleen voor de Proxmox installatie!) een losse grafische kaart inbouwen vanwege de buggy Sandybridge graphics. Been there, done that, rather not repeat it.

[ Voor 0% gewijzigd door iGadget op 02-04-2021 12:38 . Reden: typo ]

[Koepert]

iGadget schreef op vrijdag 2 april 2021 @ 12:13:
[...]

Volgens mij werkt dit idd zo bij niet-UEFI systemen. Echter, bij UEFI systemen wordt Grub niet gebruikt. Maar zou idd kunnen dat ik iets in de UEFI settings moet wijzigen. Wat niet meehelpt is dat het systeem in kwestie een nogal buggy UEFI versie heeft (generatie Sandybridge).
Een re-install zit ik echter helemaal niet op te wachten, want dan moet ik (alleen voor de Proxmox installatie!) een losse grafische kaart inbouwen vanwege de buggy Sandybridge graphics. Been there, done that, rather not repeat it.

En als je kijkt of je de fstab opnieuw aanmaakt? Wellicht dat die zoekt naar de ‘verkeerde’ mountpoints. Dat had ik laatst iig met een Arch swap. (Iets ander scenario, nieuw install op SSD laptop B, na afronden swappen naar Laptop A, maar concept blijft vergelijkbaar: nieuwe ssd in lopende hardware)

[iGadget]

Koepert schreef op vrijdag 2 april 2021 @ 12:43:
[...]
En als je kijkt of je de fstab opnieuw aanmaakt? Wellicht dat die zoekt naar de ‘verkeerde’ mountpoints. Dat had ik laatst iig met een Arch swap. (Iets ander scenario, nieuw install op SSD laptop B, na afronden swappen naar Laptop A, maar concept blijft vergelijkbaar: nieuwe ssd in lopende hardware)

Ben bang dat dat weinig gaat uitmaken want zover kom ik niet eens. Het systeem ziet die hele nieuwe SSD als 'niet bootable' en skipt 'm gewoon.

[Koepert]

iGadget schreef op vrijdag 2 april 2021 @ 12:49:
[...]

Ben bang dat dat weinig gaat uitmaken want zover kom ik niet eens. Het systeem ziet die hele nieuwe SSD als 'niet bootable' en skipt 'm gewoon.

Kom je wel in de Bios? Ik moest nl de eerste paar keer ook in Bios --> opstart/bootopties --> toen UEFI partitie opzoeken en die activeren. Was ff zoeken iig. De Bios/UEFI kon de UEFI partitie ook niet vinden toen omdat de fstab nog naar de oude UUIDs/ verwees.

[iGadget]

Ha, het werkt! Wat heb ik gedaan:
- Alleen oude SSD aangesloten
- In BIOS/UEFI setup 'Linux boot manager' aangegeven als primary boot option
- Systeem afgesloten, oude SSD geswapped met de nieuwe
- Systeem aangezet... werken!

Dit is dus wel een voordeel (als je eenmaal de exacte volgorde weet) van direct UEFI boot in tegenstelling tot Grub - er hoeft verder niks aangepast te worden on disk (zoals het nu lijkt).

Enige wat nog resteert is dat de parition size nog de grootte heeft van de oude SSD. Hoe vergroot ik deze?
Ik zie onder 'Disks' hier geen optie voor, en onder 'Disks -> ZFS' krijg ik als ik op 'Detail' klik de melding
"Result verification failed (400) - scan: property is missing and it is not optional"

Mis ik tools of duidt dit toch op een probleem door het clonen?

EDIT - te vroeg gejuicht... De node gaf net allerlei filesystem unrecoverable errors in de console, ging offline en deed een automagische reboot

Sindsdien allerlei ATA reset meldingen die door het beeld schieten en wederom een automagische reboot.

Wel enorm positief verrast door Proxmox - er draaide nog 1 container op die machine. Na de 2e reboot trok de andere node deze container automagisch naar zich toe en startte hem weer op. Wat een systeem...

Kortom, hier kunnen een aantal dingen aan de hand zijn - òf er is toch iets niet goed gegaan met het clonen, òf deze node heeft hardwarematige problemen met de SATA controller (ook daar is dit systeem, naast alle UEFI en Sandybridge graphics bugs, niet onbekend mee helaas). Kan het zijn dat de oude SSD (Samsung 840 EVO 250GB) net iets minder 'geavanceerd' met de SATA controller communiceert dan de nieuwe? Dat zou verklaren waarom ik dit (heftige) probleem met de oude SSD niet had.
Of kunnen zulke extreme issues ook ontstaan na het clonen van een disk?

[ Voor 39% gewijzigd door iGadget op 02-04-2021 14:47 . Reden: het werkt toch nog niet helemaal... ]

[krijn1985]

iGadget schreef op vrijdag 2 april 2021 @ 14:29:
*knip*
Ik zie onder 'Disks' hier geen optie voor, en onder 'Disks -> ZFS' krijg ik als ik op 'Detail' klik de melding
"Result verification failed (400) - scan: property is missing and it is not optional"

Mis ik tools of duidt dit toch op een probleem door het clonen?

Die error had ik laatst ook met een nieuwe zfs pool. Even scrub runnen en de error is weg. Probleem is blijkbaar dat Proxmox GUI "scan:" verwacht in de output van zpool status echter als er nog geen scrub is gedaan is die er nog niet.

Ik weet niet zeker of het de oplossing is, maar kijk even met 'zpool get autoexpand' of autoexpand voor je pool op on staat. Als dit niet het geval is zou het misschien de oplossing kunnen zijn. Maar zoek dit vooral even uit.

[iGadget]

krijn1985 schreef op vrijdag 2 april 2021 @ 14:44:
[...]

Die error had ik laatst ook met een nieuwe zfs pool. Even scrub runnen en de error is weg. Probleem is blijkbaar dat Proxmox GUI "scan:" verwacht in de output van zpool status echter als er nog geen scrub is gedaan is die er nog niet.

Ik weet niet zeker of het de oplossing is, maar kijk even met 'zpool get autoexpand' of autoexpand voor je pool op on staat. Als dit niet het geval is zou het misschien de oplossing kunnen zijn. Maar zoek dit vooral even uit.

Ok, ik ga kijken hoe dat werkt met die scrub. Maar dan zou ik denk ik wel eerst zeker moeten weten of ik niet een hardwarematig issue heb ook (zie mijn edit op mijn vorige post). Hoe kom ik daar achter?

[krijn1985]

iGadget schreef op vrijdag 2 april 2021 @ 14:51:
[...]

Ok, ik ga kijken hoe dat werkt met die scrub. Maar dan zou ik denk ik wel eerst zeker moeten weten of ik niet een hardwarematig issue heb ook (zie mijn edit op mijn vorige post). Hoe kom ik daar achter?

Scrub kun je starten met 'zpool scrub <poolname>'. Met die andere problemen kan ik je jammer genoeg niet echt helpen denk ik. Zelf geen ervaring met het clonen van schijven en mogelijke uefi problemen.

Edit: je zult vooral moeten kijken wat de errors zeggen en daarmee aan de slag gaan.
Edit2: zit SSD met sata kabel aangesloten? Check even of de kabel goed vast zit en/of een andere kabel.

[ Voor 14% gewijzigd door krijn1985 op 02-04-2021 15:01 ]

[iGadget]

krijn1985 schreef op vrijdag 2 april 2021 @ 14:55:
[...]
Scrub kun je starten met 'zpool scrub <poolname>'. Met die andere problemen kan ik je jammer genoeg niet echt helpen denk ik. Zelf geen ervaring met het clonen van schijven en mogelijke uefi problemen.

Edit: je zult vooral moeten kijken wat de errors zeggen en daarmee aan de slag gaan.
Edit2: zit SSD met sata kabel aangesloten? Check even of de kabel goed vast zit en/of een andere kabel.

Scrub is gelukt, dank! Gaf verder geen fouten aan. Kan nu de details gewoon bekijken. Dit stemt hoopvol:
"Errors - No known data errors".
Kan nog wel een aantal ZFS features aanzetten op de pool die nog niet aan staan, geeft 'ie ook aan. Denk dat ik daar nog maar even mee wacht totdat ik de oorzaak van die reboots heb kunnen achterhalen...

Ik hou de console iig open, zodra ik weer iets voorbij zie komen zit ik er bovenop.

[haborym]

Ben ook sinds kort een proxmox user en echt zeer tevreden
Draai een ryzen 1600x in combo met een b450 gigabyte.
Heb een lsi 2008 in it mode draaien met 4x een 4tb disk van WD.

Probleem wat ik voorzie is dat ik straks naar een 10gb lan wil maar geen ruimte heb op mijn moederboard voor een kaart.

Wat voor mainboards hebben jullie? Zit daar de 10gb al in?

[Robbie T]

Wellicht zie ik nog wat over het hoofd. Ik wil Adguard Home als aparte container hebben draaien. Heb hiervoor een debian template gedownload vanuit ProxMox en hierna aangegeven dat ik een nieuwe CT wil maken.

Ik gebruik daarna de volgende instellingen:
- Hostname: Proxmox
- ID: 102
- Wachtwoord: mijn wachtwoord
- Template: Debian template
- rootdisk: Mijn opslag
- CPU: naar wens
- Ram: naar wens
Network:
- name: eth0
mac: auto
- Bridge: vmbr0 (de enige die er tussen staat)
- IP4: DHCP
- IPv6: DHCP

Hierna start ik de container en open ik de console. Ik wil vervolgens namelijk SnapD installeren. Ik krijg in de console echter geen mogelijkheid om wat in te voeren.

Wat doe ik fout?

[Koepert]

Robbie T schreef op vrijdag 2 april 2021 @ 17:51:
Wellicht zie ik nog wat over het hoofd. Ik wil Adguard Home als aparte container hebben draaien. Heb hiervoor een debian template gedownload vanuit ProxMox en hierna aangegeven dat ik een nieuwe CT wil maken.

Ik gebruik daarna de volgende instellingen:
- Hostname: Proxmox
- ID: 102
- Wachtwoord: mijn wachtwoord
- Template: Debian template
- rootdisk: Mijn opslag
- CPU: naar wens
- Ram: naar wens
Network:
- name: eth0
mac: auto
- Bridge: vmbr0 (de enige die er tussen staat)
- IP4: DHCP
- IPv6: DHCP

Hierna start ik de container en open ik de console. Ik wil vervolgens namelijk SnapD installeren. Ik krijg in de console echter geen mogelijkheid om wat in te voeren.

Wat doe ik fout?

Te weinig geduld ? (Of resources). Ik wilde een NGINX container op dezelfde wijze aanmaken. Daar uiteindelijk vanwege allerlei ‘rechten meldingen’ een vm van gemaakt, maar daar duurde de eerste keer invoer in de console ook heul heul lang.

[Robbie T]

Koepert schreef op vrijdag 2 april 2021 @ 18:08:
[...]


Te weinig geduld ? (Of resources). Ik wilde een NGINX container op dezelfde wijze aanmaken. Daar uiteindelijk vanwege allerlei ‘rechten meldingen’ een vm van gemaakt, maar daar duurde de eerste keer invoer in de console ook heul heul lang.

Geen idee waar het mee samen hangt. Wellicht te ongeduldig, in eerste instantie was de console leeg. Daar alsnog root ingevoerd en toen kwam er wel een wachtwoord prompt naar voren. Nu werkt het!

[olson]

Vreemd probleem hier met een Dell optiplex 3050.

Boot ssd is een sata 840pro met proxmox. Werkt prima.
Zodra ik een nvme 970evo ssd bij steek gaat vlak voor de proxmox start het netwerk uit.
Geen lampjes niks meer. (de 970 lijkt wel te werken)

dmesg laat eigenlijk niks zien wat er mee te maken kan hebben.
Haal ik de nvme disk eruit werkt alles weer.

Iemand enig idee wat dit kan zijn / wat te checken?

[ Voor 3% gewijzigd door olson op 02-04-2021 18:50 ]

[olson]

olson schreef op vrijdag 2 april 2021 @ 18:49:
Vreemd probleem hier met een Dell optiplex 3050.

Boot ssd is een sata 840pro met proxmox. Werkt prima.
Zodra ik een nvme 970evo ssd bij steek gaat vlak voor de proxmox start het netwerk uit.
Geen lampjes niks meer. (de 970 lijkt wel te werken)

dmesg laat eigenlijk niks zien wat er mee te maken kan hebben.
Haal ik de nvme disk eruit werkt alles weer.

Iemand enig idee wat dit kan zijn / wat te checken?

ok gevonden.
ip a
laat zien dat door het bijsteken van de nvme de volgorde op de pci bus aanpast is.

enp1s0 ? enp2s0

opgelost.

[fuzzyduck]

olson schreef op vrijdag 2 april 2021 @ 19:09:
[...]


ok gevonden.
ip a
laat zien dat door het bijsteken van de nvme de volgorde op de pci bus aanpast is.

enp1s0 ? enp2s0

opgelost.

Ik heb twee nics en na wat kloten met hardware kwam ik de GUI opeens niet meer in. Ik heb zelfs een reinstall gedaan. Blijkt dat de netwerkkabel in de andere Nic stoppen het enige was wat ik moest doen.

[iGadget]

haborym schreef op vrijdag 2 april 2021 @ 15:15:
Probleem wat ik voorzie is dat ik straks naar een 10gb lan wil maar geen ruimte heb op mijn moederboard voor een kaart.

Wat voor mainboards hebben jullie? Zit daar de 10gb al in?

Hier staan 2 Dell Optiplex 7010's, die hebben 2 PCIe x16 (of x8? geen idee eigenlijk) sloten. Heb daar zojuist een aantal 2e hands dual 10GBase-T kaartjes voor gekocht.

Node 3 is een zelfbouw Sandybridge machine (i5-2500 op een Asrock mobo). Die heeft 1x PCIe x16. De bedoeling is dat daar zo'n zelfde kaart in komt, maar voordat ik dat doe moet ik 'm eerst weer stabiel zien te krijgen (het ding besloot afgelopen week spontaan te gaan rebooten bijv.).

[iGadget]

Het lijkt erop dat ik het stabiliteitsprobleem met node 3 heb kunnen fixen - in de BIOS stond 'Agressive SATA link management' aan. Sinds ik dat heb uitgezet, heb ik geen rare SATA meldingen meer voorbij zien komen en is de node niet meer uit zichzelf gereboot.

Op naar het volgende puntje op de lijst - resizen van de ZFS partities / rpool. Node 1 had een 250GB (consumer) disk en heeft nu een 480GB (enterprise) disk.
Node 2 heeft een 1TB SSD welke ook naar 480 moet.
Node 3 had een 120GB, is ook 480 geworden.

Node 1 en 3 zijn gecloned en moet ik nu dus vergroten, terwijl node 2 juist verkleind moet worden voordat ik kan gaan clonen. Heb al lopen zoeken, maar kan vrij weinig info hierover vinden. Heeft iemand hier ervaring mee?

[dcm360]

Een zpool verkleinen gaat m niet worden. Wat wel kan, is een nieuwe (kleinere) zpool aanmaken, en dan met zfs send/receive de complete inhoud overzetten. Ruim niet zo makkelijk als klonen, maar het zou wel moeten werken.

[iGadget]

dcm360 schreef op zondag 4 april 2021 @ 16:44:
Een zpool verkleinen gaat m niet worden. Wat wel kan, is een nieuwe (kleinere) zpool aanmaken, en dan met zfs send/receive de complete inhoud overzetten. Ruim niet zo makkelijk als klonen, maar het zou wel moeten werken.

Ok, da's balen. Dan gaat die hele node ws. in de re-install. En een ZFS partitie vergroten, hoe gaat dat in z'n werk? Volstaat dan een

code:

zpool set autoexpand=on rpool

of is daar nog meer voor nodig?

Update: Heb bij de node met de 1TB schijf een re-install gedaan op de nieuwe 480GB SSD. Deze draait nu weer (voor wie hier ooit ook tegenaan loopt - zorg dat je de instructies voor het verwijderen van een node uit een cluster goed opvolgt! En denk ook aan replication jobs van/naar die node die je moet uitzetten, dit staat niet in de instructies maar zorgde er hier bijna voor dat de boel in de soep liep.

Heb hier een topic voor aangemaakt op het Proxmox forum.

In mijn zoektocht naar een manier om de ZFS partitie te vergroten op de node met de gekloonde disk loop ik nu tegen het volgende aan als ik gdisk draai:

code:

root@node1:~# gdisk /dev/sda3
GPT fdisk (gdisk) version 1.0.3

Caution: invalid main GPT header, but valid backup; regenerating main header
from backup!

Caution! After loading partitions, the CRC doesn't check out!
Warning! Main and backup partition tables differ! Use the 'c' and 'e' options
on the recovery & transformation menu to examine the two tables.

Warning! One or more CRCs don't match. You should repair the disk!

Partition table scan:
  MBR: not present
  BSD: not present
  APM: not present
  GPT: damaged

Found invalid MBR and corrupt GPT. What do you want to do? (Using the
GPT MAY permit recovery of GPT data.)
 1 - Use current GPT
 2 - Create blank GPT

Your answer:

Wat is wijsheid hier? Current GPT gebruiken of zou ik met een 'blank GPT' wellicht de partitie kunnen vergroten? Of ben ik dan alle data kwijt

[ Voor 61% gewijzigd door iGadget op 05-04-2021 12:56 . Reden: nieuwe info ]

[icecreamfarmer]

Mijn homeassistant VM is rond half 4 vastgelopen.
Vanochtend dacht ik dat het aan Adguard lag wat weer de VM schijf heeft volgeschreven.

In de logs vind ik deze error:

Apr 05 03:23:01 proxmox systemd[1]: pvesr.service: Succeeded.
Apr 05 03:23:01 proxmox systemd[1]: Started Proxmox VE replication runner.
Apr 05 03:23:35 proxmox kernel: sd 0:0:0:0: [sda] tag#6 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_TIMEOUT
Apr 05 03:23:35 proxmox kernel: sd 0:0:0:0: [sda] tag#6 CDB: Read(10) 28 00 00 00 08 00 00 01 00 00
Apr 05 03:23:35 proxmox kernel: blk_update_request: I/O error, dev sda, sector 2048 op 0x0:(READ) flags 0x0 phys_seg 32 prio class 0
Apr 05 03:23:35 proxmox kernel: sd 0:0:0:0: [sda] tag#4 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_TIMEOUT
Apr 05 03:23:35 proxmox kernel: sd 0:0:0:0: [sda] tag#4 CDB: Write(10) 2a 00 0e d8 fe e0 00 00 10 00
Apr 05 03:23:35 proxmox kernel: blk_update_request: I/O error, dev sda, sector 249102048 op 0x1:(WRITE) flags 0x800 phys_seg 2 prio class 0
Apr 05 03:23:35 proxmox kernel: Aborting journal on device sda1-8.
Apr 05 03:23:35 proxmox pvestatd[1052]: status update time (49.712 seconds)
Apr 05 03:23:37 proxmox kernel: EXT4-fs error (device sda1): ext4_journal_check_start:61: Detected aborted journal
Apr 05 03:23:37 proxmox kernel: EXT4-fs (sda1): Remounting filesystem read-only
Apr 05 03:24:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Apr 05 03:24:01 proxmox systemd[1]: pvesr.service: Succeeded.

Nu wilde ik de backup terug plaatsen van voor adguard maar dat lukt niet want ik krijg deze foutmelding:

restore vma archive: zstd -q -d -c /mnt/data/backup/dump/vzdump-qemu-101-2021_04_04-19_59_31.vma.zst | vma extract -v -r /var/tmp/vzdumptmp3030.fifo - /var/tmp/vzdumptmp3030
CFG: size: 566 name: qemu-server.conf
DEV: dev_id=1 size: 131072 devname: drive-efidisk0
DEV: dev_id=2 size: 34359738368 devname: drive-scsi0
CTIME: Sun Apr 4 19:59:54 2021
Formatting '/mnt/data/vm/images/101/vm-101-disk-0.qcow2', fmt=qcow2 cluster_size=65536 preallocation=metadata compression_type=zlib size=131072 lazy_refcounts=off refcount_bits=16
no lock found trying to remove 'create' lock
TASK ERROR: command 'set -o pipefail && zstd -q -d -c /mnt/data/backup/dump/vzdump-qemu-101-2021_04_04-19_59_31.vma.zst | vma extract -v -r /var/tmp/vzdumptmp3030.fifo - /var/tmp/vzdumptmp3030' failed: unable to create image: qemu-img: /mnt/data/vm/images/101/vm-101-disk-0.qcow2: Could not create file: Read-only file system

Alles lijkt op read only te staan. Hoe los ik dat op?
De smart van beide SSD's lijken goed.

[iGadget]

icecreamfarmer schreef op maandag 5 april 2021 @ 12:57:
Mijn homeassistant VM is rond half 4 vastgelopen.
Vanochtend dacht ik dat het aan Adguard lag wat weer de VM schijf heeft volgeschreven.
In de logs vind ik deze error:
[...]
Nu wilde ik de backup terug plaatsen van voor adguard maar dat lukt niet want ik krijg deze foutmelding:
[...]
Alles lijkt op read only te staan. Hoe los ik dat op?
De smart van beide SSD's lijken goed.

I/O error klinkt toch echt alsof je een hardwarematig probleem hebt met ofwel de schijf, de kabels danwel de controller.
Hou er rekening mee dat SMART data niet alles zegt en de ondersteuning (as in, correcte interpretatie van de SMART data) in PVE per merk verschilt. Mijn Samsungs worden bijv goed ondersteund, terwijl mijn WD Blue een vrij onbetrouwbare Wearout-waarde weergeeft. Wat voor schijven zijn het?

Mocht je zeker weten dat je schijven goed zijn dan denk ik dat je nog 2 zaken moet uitsluiten:
1. SATA kabels - vervang ze eens door brand-new SATA-600 kabels
2. SATA controller. Ik heb hier een systeem waar ik bijna alle schijven van in de prullebak had gegooid, totdat ik ze op een ander systeem aansloot en ze daar gewoon foutloos bleken te werken. Bleek dus de controller het issue. En dan nog zou het ook nog een BIOS/UEFI setting kunnen zijn, hier had ik bijv. 'Agressive SATA link management' aan staan wat voor enorm veel gezeik bleek te zorgen.

[icecreamfarmer]

iGadget schreef op maandag 5 april 2021 @ 13:19:
[...]

I/O error klinkt toch echt alsof je een hardwarematig probleem hebt met ofwel de schijf, de kabels danwel de controller.
Hou er rekening mee dat SMART data niet alles zegt en de ondersteuning (as in, correcte interpretatie van de SMART data) in PVE per merk verschilt. Mijn Samsungs worden bijv goed ondersteund, terwijl mijn WD Blue een vrij onbetrouwbare Wearout-waarde weergeeft. Wat voor schijven zijn het?

Mocht je zeker weten dat je schijven goed zijn dan denk ik dat je nog 2 zaken moet uitsluiten:
1. SATA kabels - vervang ze eens door brand-new SATA-600 kabels
2. SATA controller. Ik heb hier een systeem waar ik bijna alle schijven van in de prullebak had gegooid, totdat ik ze op een ander systeem aansloot en ze daar gewoon foutloos bleken te werken. Bleek dus de controller het issue. En dan nog zou het ook nog een BIOS/UEFI setting kunnen zijn, hier had ik bijv. 'Agressive SATA link management' aan staan wat voor enorm veel gezeik bleek te zorgen.

Het is een intel 256GB SSD en een 32GB Sandisk SSD.
Op de Sandisk draait Proxmox en op de intel een 32GB Homeassistant VM.

Heb nu de server herstart en kon zodoende de backup terugplaatsen.

[Hmmbob]

Ik zie je probleem nu in 3 verschillende topics (HA, AdGuard en dit) terug komen, je gaat er telkens van uit dat AdGuard de boel volschrijft. Dat is niet iets wat ik herken, en de fouten hier lijken eerder op een hardware error dan op AdGuard die alles vol schrijft.

[OsiriS.nl]

Wellicht dat iemand van jullie mij hier kan helpen. Ik heb het volgende probleem:
Oude server krijgt nieuwe bestemming, voorheen stond er ESXI5.5 op maar nu onlangs nieuwste proxmox erop gezet. Vanaf het begin deze fout, als ik de server het shutdown commando geef dan gaat ie alles netjes afsluiten en komt in de state "target reached power-off" maar de server blijft aan staan?

Uiteraard al flink zelf gezocht, geprobeerd met opties zoals acpi=force etc maar ook in de bios settings omtrent acpi gewijzigd en ook legacy bios geprobeerd. Maar eigenlijk alles wat ik kon vinden op internet werkt niet. Firmware update bios en BMC en vandaag ook nog de HBA firmware geupdate echter nog steeds geen succes!

Iemand van jullie een idee waar ik kan zoeken? Heb al in journalctl gekeken maar daar staat alleen info sinds laatste boot en niet van de shutdown..

[iGadget]

OsiriS.nl schreef op maandag 5 april 2021 @ 18:36:
Wellicht dat iemand van jullie mij hier kan helpen. Ik heb het volgende probleem:
Oude server krijgt nieuwe bestemming, voorheen stond er ESXI5.5 op maar nu onlangs nieuwste proxmox erop gezet. Vanaf het begin deze fout, als ik de server het shutdown commando geef dan gaat ie alles netjes afsluiten en komt in de state "target reached power-off" maar de server blijft aan staan?

Uiteraard al flink zelf gezocht, geprobeerd met opties zoals acpi=force etc maar ook in de bios settings omtrent acpi gewijzigd en ook legacy bios geprobeerd. Maar eigenlijk alles wat ik kon vinden op internet werkt niet. Firmware update bios en BMC en vandaag ook nog de HBA firmware geupdate echter nog steeds geen succes!

Iemand van jullie een idee waar ik kan zoeken? Heb al in journalctl gekeken maar daar staat alleen info sinds laatste boot en niet van de shutdown..

Pfoe... ACPI issues zijn echt de hel IMHO. Hoe oud is de machine? Heb gister meer dan een halve dag gespendeerd aan het proberen te debuggen waarom mijn oude Sandybridge maar geen WakeOnLAN wil doen. Bleek dat de netwerkkaart compleet down gaat bij een shutdown. Alle tutorials / howtos / manpages doorgespit, UEFI omgeploegd... Niks hielp.
Toen bedacht dat bij een suspend, de machine wellicht de netwerkkaart wel 'aan' laat. Dat bleek echter Pandora's Box... Voor ik het wist was ik kernel debug symbols aan het tracen en zat ik urenlang alle mogelijke verschillende combinaties van UEFI opties en kernel parameters uit te proberen. En je raadt het al - niets hielp. Voorbij een bepaald level van 'sleep' wordt de machine gewoon nooit meer wakker en is een harde reset nodig.
Kortom: sterkte. Hopelijk heb jij meer geluk, tenslotte is jouw wens slechts een 'simpele' full shutdown

[icecreamfarmer]

Hmmbob schreef op maandag 5 april 2021 @ 15:59:
Ik zie je probleem nu in 3 verschillende topics (HA, AdGuard en dit) terug komen, je gaat er telkens van uit dat AdGuard de boel volschrijft. Dat is niet iets wat ik herken, en de fouten hier lijken eerder op een hardware error dan op AdGuard die alles vol schrijft.

Dat komt omdat ik op andere hardware hetzelfde probleem had en Adguard het toen wel helemaal volgeschreven had met logs. dat heb ik toen pas weer werkend gekregen door 25gig aan logs van Adguard te verwijderen.
En het valt mij op dat alles voor weken goed werkt totdat Adguard geïnstalleerd wordt.

[ Voor 7% gewijzigd door icecreamfarmer op 06-04-2021 09:46 ]

[Koepert]

Ik heb een noob-vraagje waar ik niet helemaal antwoord op kan vinden:

Wat is 'rechtentechnisch' het verschil tussen een VM en een CT?

Praktijkvoorbeeld:

- Container met Debian 10 template aangemaakt. User toegevoegd, update gedraaid, etc. NGINX willen installeren conform handleiding na installeren Docker (officiële handleiding) en docker-compose .. Krijg meldingen, problemen met rechten (meende deze melding: https://forums.docker.com...d-permission-denied/71039 alleen dan bij het runnen van de compose.)

- VM met Debian 10 iso aangemaakt (netinstaller versie). Zelfde route bewandeld. NGINX installeert en draait prima.


Waar zit dat verschil in ? Is dat (un)priviliged? Of zit dat in settings IN de container die ik vergeet? Potentieel is JUIST iets als NGINX ideaal om in een lightweight container te draaien.

[dcm360]

Nginx doet het prima in een container, het is meer de Docker in het verhaal die het ingewikkeld maakt, want je bent dan een containeromgeving in een containeromgeving aan het gebruiken (nesting). Om Docker werkend te maken in een container, moeten er een paar vinkjes aan: keyctl en nesting (aldus RobertMe in "Het grote zuinige server topic - deel 2").

Overigens, het niet willen uitschakelen is een issue dat ik zo bij vlagen ook tegenkom. Vaak werkt een paar minuutjes wachten wel (als ik er het geduld voor heb). Maar zo vaak zet ik Proxmox-machines eigenlijk niet uit.

[ Voor 22% gewijzigd door dcm360 op 06-04-2021 10:22 ]

[Hmmbob]

icecreamfarmer schreef op dinsdag 6 april 2021 @ 09:43:
[...]


Dat komt omdat ik op andere hardware hetzelfde probleem had en Adguard het toen wel helemaal volgeschreven had met logs. dat heb ik toen pas weer werkend gekregen door 25gig aan logs van Adguard te verwijderen.
En het valt mij op dat alles voor weken goed werkt totdat Adguard geïnstalleerd wordt.

Ik snap het. Maar ik snap niet dat AdGuard zoveel logt bij je.... Misschien die instellingen toch eens nakijken. Voor mijn use case zijn de query logs en statistieken retentie van 7 dagen voldoende - misschien dat je dat beiden op 90 dagen had staan?

[iGadget]

dcm360 schreef op dinsdag 6 april 2021 @ 10:16:
Nginx doet het prima in een container, het is meer de Docker in het verhaal die het ingewikkeld maakt, want je bent dan een containeromgeving in een containeromgeving aan het gebruiken (nesting). Om Docker werkend te maken in een container, moeten er een paar vinkjes aan: keyctl en nesting (aldus RobertMe in "Het grote zuinige server topic - deel 2").

Oeh dat is ook interessant. Maar dan was ik alweer tegen een leuke papercut aangelopen, want ik draai ZFS:
"Tenzij je container op ZFS staat. Docker ziet dat en wil ZFS als "driver" gebruiken, maar dat werkt niet omdat je enerzijds geen ZFS support/libraries in de container hebt (uiteraard te installeren), maar ook omdat die geen toegang heeft tot het ZFS "device" in /dev/ en dus nog geen interactie met ZFS kunt hebben. Oplossing daarvoor is ook relatief simpel als je het weet. Een zvol aanmaken die je met ext4 formatteert en op /var/lib/docker mounten."

[Koepert]

dcm360 schreef op dinsdag 6 april 2021 @ 10:16:
Nginx doet het prima in een container, het is meer de Docker in het verhaal die het ingewikkeld maakt, want je bent dan een containeromgeving in een containeromgeving aan het gebruiken (nesting). Om Docker werkend te maken in een container, moeten er een paar vinkjes aan: keyctl en nesting (aldus RobertMe in "Het grote zuinige server topic - deel 2").

Overigens, het niet willen uitschakelen is een issue dat ik zo bij vlagen ook tegenkom. Vaak werkt een paar minuutjes wachten wel (als ik er het geduld voor heb). Maar zo vaak zet ik Proxmox-machines eigenlijk niet uit.

Thnx.. dat was eenvoudig,... Nu nog kijken of ik de certificaten gemigreerd krijg....

[CurlyMo]

iGadget schreef op dinsdag 6 april 2021 @ 10:33:
[...]
Oplossing daarvoor is ook relatief simpel als je het weet. Een zvol aanmaken die je met ext4 formatteert en op /var/lib/docker mounten."

Zoals ook eerder in dit topic besproken

RobertMe in "Het grote Proxmox VE topic"

[OsiriS.nl]

iGadget schreef op dinsdag 6 april 2021 @ 09:36:
[...]

Pfoe... ACPI issues zijn echt de hel IMHO. Hoe oud is de machine? Heb gister meer dan een halve dag gespendeerd aan het proberen te debuggen waarom mijn oude Sandybridge maar geen WakeOnLAN wil doen. Bleek dat de netwerkkaart compleet down gaat bij een shutdown. Alle tutorials / howtos / manpages doorgespit, UEFI omgeploegd... Niks hielp.
Toen bedacht dat bij een suspend, de machine wellicht de netwerkkaart wel 'aan' laat. Dat bleek echter Pandora's Box... Voor ik het wist was ik kernel debug symbols aan het tracen en zat ik urenlang alle mogelijke verschillende combinaties van UEFI opties en kernel parameters uit te proberen. En je raadt het al - niets hielp. Voorbij een bepaald level van 'sleep' wordt de machine gewoon nooit meer wakker en is een harde reset nodig.
Kortom: sterkte. Hopelijk heb jij meer geluk, tenslotte is jouw wens slechts een 'simpele' full shutdown

Pff jah erg gaar. Het toch sterk het idee dat het wellicht iets in de bios is. Niks lijkt te helpen, acpi=off niet en ander OS (ubuntu) ook niet. Gekke is wel dat via IPMI een harde power off wel werkt dus voeding-mobo lijkt wel goed te werken denk ik dan..
Het moederbord is een jaar of 4 oud, een Supermicro X10 moederbordje..

Dan ga ik nog maar wat zoeken naar een speld....

[icecreamfarmer]

Hmmbob schreef op dinsdag 6 april 2021 @ 10:32:
[...]

Ik snap het. Maar ik snap niet dat AdGuard zoveel logt bij je.... Misschien die instellingen toch eens nakijken. Voor mijn use case zijn de query logs en statistieken retentie van 7 dagen voldoende - misschien dat je dat beiden op 90 dagen had staan?

Toen wel, nu stonden beide op 7 dagen.
Met Pi-Hole hield ik meer bij en dat was geen enkel probleem.